ИИ поможет Meta добиться реалистичного звука в виртуальных мирах. Новость Бесплатной технической библиотеки

НОВОСТИ НАУКИ И ТЕХНИКИ, НОВИНКИ ЭЛЕКТРОНИКИ
Бесплатная техническая библиотека / Лента новостей

ИИ поможет Meta добиться реалистичного звука в виртуальных мирах

29.06.2022

Компания Meta рассказала о работе над технологиями реалистичного звука для виртуальных миров - проект реализуется при содействии ученых Техасского университета в Остине. В рамках проекта были разработаны три модели искусственного интеллекта, доступные для сторонних разработчиков.

Как пояснила Кристен Гаруман (Kristen Garuman), профессор информатики Техасского университета и директор по исследованиям Meta AI, дополненную и виртуальную реальность нельзя сводить только к визуальной составляющей - важную роль в оживлении мира играет звук. На его качество влияют различные факторы: геометрия помещения, размещенные в нем объекты, а также расстояние до источника. Поэтому родилась идея использовать для обработки звука алгоритмы искусственного интеллекта.

Первый алгоритм получил название AviTAR - это "модель визуально-акустического согласования", которая обеспечивает преобразование звука в соответствии со средой. Чтобы объяснить работу алгоритма, авторы проекта привели пример. Мать посетила выступление своего ребенка и при помощи очков дополненной реальности записала его прямо из зрительного зала. Алгоритм приводится в действие, когда женщина хочет воспроизвести запись дома. Система сканирует помещение, учитывая расположенные в нем предметы интерьера, и воспроизводит запись таким образом, как будто юный артист выступает в том же зале.

Второй алгоритм получил название Visually-Informed Dereverberation. Он предназначается для удаления из записи эффекта реверберации - множественных эхо, возникающих при отражении звука от стен и других объектов. Возвращаясь к примеру с детским концертом, мать при воспроизведении записи дома не услышит ничего, кроме музыки.

Наконец, третья модель ИИ получила название VisualVoice - она отделяет голос человека от остальных источников звука. Например, если записать видео, на котором спорят два человека, алгоритм выделит один из голосов, заглушив все остальные.

Как пояснили в Meta, для этого искусственному интеллекту необходимы визуальные подсказки - он должен "видеть", кто говорит, и на основе этой информации различать в общем потоке необходимые нюансы.

<< Назад: Новый способ омоложения кожи 30.06.2022

>> Вперед: Кофе снижает риск заболеваний печени 29.06.2022

Последние новости науки и техники, новинки электроники:

Искусственная кожа для эмуляции прикосновений 15.04.2024

В мире современных технологий, где удаленность становится все более обыденной, сохранение связи и чувства близости играют важную роль. Недавние разработки немецких ученых из Саарского университета в области искусственной кожи представляют новую эру в виртуальных взаимодействиях. Немецкие исследователи из Саарского университета разработали ультратонкие пленки, которые могут передавать ощущение прикосновения на расстоянии. Эта передовая технология предоставляет новые возможности для виртуального общения, особенно для тех, кто оказался вдали от своих близких. Ультратонкие пленки, разработанные исследователями, толщиной всего 50 микрометров, могут быть интегрированы в текстильные изделия и носиться как вторая кожа. Эти пленки действуют как датчики, распознающие тактильные сигналы от мамы или папы, и как исполнительные механизмы, передающие эти движения ребенку. Прикосновения родителей к ткани активируют датчики, которые реагируют на давление и деформируют ультратонкую пленку. Эта ...>>

Кошачий унитаз Petgugu Global 15.04.2024

Забота о домашних животных часто может быть вызовом, особенно когда речь заходит о поддержании чистоты в доме. Представлено новое интересное решение стартапа Petgugu Global, которое облегчит жизнь владельцам кошек и поможет им держать свой дом в идеальной чистоте и порядке. Стартап Petgugu Global представил уникальный кошачий унитаз, способный автоматически смывать фекалии, обеспечивая чистоту и свежесть в вашем доме. Это инновационное устройство оснащено различными умными датчиками, которые следят за активностью вашего питомца в туалете и активируются для автоматической очистки после его использования. Устройство подключается к канализационной системе и обеспечивает эффективное удаление отходов без необходимости вмешательства со стороны владельца. Кроме того, унитаз имеет большой объем смываемого хранилища, что делает его идеальным для домашних, где живут несколько кошек. Кошачий унитаз Petgugu разработан для использования с водорастворимыми наполнителями и предлагает ряд доп ...>>

Привлекательность заботливых мужчин 14.04.2024

Стереотип о том, что женщины предпочитают "плохих парней", долгое время был широко распространен. Однако, недавние исследования, проведенные британскими учеными из Университета Монаша, предлагают новый взгляд на этот вопрос. Они рассмотрели, как женщины реагируют на эмоциональную ответственность и готовность помогать другим у мужчин. Результаты исследования могут изменить наше представление о том, что делает мужчин привлекательными в глазах женщин. Исследование, проведенное учеными из Университета Монаша, приводит к новым выводам о привлекательности мужчин для женщин. В рамках эксперимента женщинам показывали фотографии мужчин с краткими историями о их поведении в различных ситуациях, включая их реакцию на столкновение с бездомным человеком. Некоторые из мужчин игнорировали бездомного, в то время как другие оказывали ему помощь, например, покупая еду. Исследование показало, что мужчины, проявляющие сочувствие и доброту, оказались более привлекательными для женщин по сравнению с т ...>>

Электронный шлем для водителей грузовиков 14.04.2024

Безопасность на дорогах, особенно для водителей тяжелой строительной техники, является приоритетной задачей инженеров и ученых. В свете этого немецкий Институт структурной прочности и надежности систем имени Фраунгофера представил новый продукт - электронный шлем, который предназначен для защиты водителей от серьезных травм при вождении строительных машин. Новый электронный шлем, разработанный командой инженеров из Института Фраунгофера, открывает новые перспективы для безопасности водителей грузовиков и строительной техники. Устройство способно контролировать уровень тряски в кабине автомобиля и предупреждать водителя о возможной опасности. Основой работы шлема является встроенный пьезоэлектрический датчик, который генерирует электричество при физической деформации. Этот механизм позволяет устройству реагировать на интенсивные вибрации, характерные для работы строительной техники. Когда уровень деформации превышает безопасные значения, на шлеме включается сигнальная система, пре ...>>

Антивитамины вместо антибиотиков 13.04.2024

Проблема бактериальной резистентности к антибиотикам становится все более серьезной, создавая угрозу для эффективного лечения инфекций. В свете этого исследователи ищут новые пути борьбы с супербактериями. Одним из перспективных направлений является использование антивитаминов, способных оказывать антибактериальное действие. Антивитамины, хоть и известные как вещества, противоположные витаминам, оказались перспективным инструментом в борьбе с бактериальной резистентностью к антибиотикам. Исследование, проведенное учеными из Геттингенского университета в Германии, подтвердило их потенциал в создании новых препаратов для борьбы с опасными инфекциями. В связи с распространением супербактерий, стойких к антибиотикам, появляется необходимость в поиске альтернативных методов лечения. Антивитамины представляют собой молекулы, аналогичные витаминам, но способные подавлять активность бактерий без вреда для организма человека. На данный момент науке известны всего три антивитамина: розе ...>>

Случайная новость из Архива

3LCD-проекторы Epson Home Cinema 1040 и 1440 08.09.2015

Компания Epson анонсировала два новых проектора для дома. Ассортимент производителя дополнили 3LCD-модели Home Cinema 1040 и Home Cinema 1440.

Оба устройства способны проецировать широкоформатную картинку с разрешением 1920 х 1080 пикселей и размером до 300 дюймов по диагонали. Аппараты комплектуются USB-интерфейсом и двумя портами HDMI с поддержкой технологии MHL, позволяющей подключать к проекторам совместимые с ней смартфоны или планшеты, которые при этом будут еще и заряжаться.

Home Cinema 1040 и Home Cinema 1440 характеризуются максимальными показателями яркости на уровне 3000 и 4400 люмен соответственно. Контрастность составляет 15 000:1 и 10 000:1. Еще одно отличие между новинками заключается в поддержке технологии Farouja DCDi, которая устраняет визуальные искажения картинки, повышая ее качество. Это решение реализовано в модели Home Cinema 1440. Она также имеет функцию разделения изображения на две области, в которых отображаются разные картинки или видеопотоки.

Epson Home Cinema 1040 будет стоить $800, а другая модель - $1700.

Оба продукта поступят в продажу в сентябре 2015 года. На них будет распространяться двухлетняя гарантия от производителя.

Смотрите полный Архив новостей науки и техники, новинок электроники

All languages of this page

Главная страница | Библиотека | Статьи | Карта сайта | Отзывы о сайте