ИИ поможет Meta добиться реалистичного звука в виртуальных мирах

29.06.2022

Компания Meta рассказала о работе над технологиями реалистичного звука для виртуальных миров - проект реализуется при содействии ученых Техасского университета в Остине. В рамках проекта были разработаны три модели искусственного интеллекта, доступные для сторонних разработчиков.

Как пояснила Кристен Гаруман (Kristen Garuman), профессор информатики Техасского университета и директор по исследованиям Meta AI, дополненную и виртуальную реальность нельзя сводить только к визуальной составляющей - важную роль в оживлении мира играет звук. На его качество влияют различные факторы: геометрия помещения, размещенные в нем объекты, а также расстояние до источника. Поэтому родилась идея использовать для обработки звука алгоритмы искусственного интеллекта.

Первый алгоритм получил название AviTAR - это "модель визуально-акустического согласования", которая обеспечивает преобразование звука в соответствии со средой. Чтобы объяснить работу алгоритма, авторы проекта привели пример. Мать посетила выступление своего ребенка и при помощи очков дополненной реальности записала его прямо из зрительного зала. Алгоритм приводится в действие, когда женщина хочет воспроизвести запись дома. Система сканирует помещение, учитывая расположенные в нем предметы интерьера, и воспроизводит запись таким образом, как будто юный артист выступает в том же зале.

Второй алгоритм получил название Visually-Informed Dereverberation. Он предназначается для удаления из записи эффекта реверберации - множественных эхо, возникающих при отражении звука от стен и других объектов. Возвращаясь к примеру с детским концертом, мать при воспроизведении записи дома не услышит ничего, кроме музыки.

Наконец, третья модель ИИ получила название VisualVoice - она отделяет голос человека от остальных источников звука. Например, если записать видео, на котором спорят два человека, алгоритм выделит один из голосов, заглушив все остальные.

Как пояснили в Meta, для этого искусственному интеллекту необходимы визуальные подсказки - он должен "видеть", кто говорит, и на основе этой информации различать в общем потоке необходимые нюансы.

<< Назад: Новый способ омоложения кожи 30.06.2022

>> Вперед: Кофе снижает риск заболеваний печени 29.06.2022

Последние новости науки и техники, новинки электроники:

Хорошо управляемые луга могут компенсировать выбросы от скота 15.02.2026

Животноводство, особенно разведение крупного рогатого скота, часто обвиняют в значительном вкладе в глобальное потепление из-за мощного парникового газа - метана, который выделяется при пищеварении у жвачных животных. Это вызывает острые политические споры и призывы к сокращению потребления мяса. Однако ученые напоминают, что полная картина климатического воздействия отрасли не ограничивается только выбросами от животных: огромную роль играет окружающая экосистема - пастбища, почва и растительность, которые способны активно поглощать углекислый газ из атмосферы. Исследователи из Университета Небраски-Линкольна решили глубже изучить этот баланс. Группа под руководством профессора Галена Эриксона сосредоточилась на том, как правильно организованные пастбища накапливают углерод в растениях и грунте благодаря естественным процессам, стимулируемым выпасом скота. Ученые подчеркивают, что при достаточном уровне осадков и грамотном управлении такие луга превращаются в мощные природные погло ...>>

NASA тестирует инновационную технологию крыла 15.02.2026

Коммерческая авиация ежегодно расходует колоссальные объемы керосина, что сказывается не только на бюджете авиакомпаний, но и на состоянии окружающей среды. В 2024 году глобальные затраты на авиационное топливо достигли 291 миллиарда долларов, и эта сумма продолжает расти. Чтобы справиться с этими вызовами, NASA активно работает над технологиями, способными заметно повысить аэродинамическую эффективность самолетов. Одним из самых перспективных направлений стало создание специальной конструкции крыла, которая максимизирует естественный ламинарный поток воздуха и минимизирует сопротивление. В январе 2026 года специалисты NASA Armstrong Flight Research Center успешно провели важный этап наземных испытаний концепции Crossflow Attenuated Natural Laminar Flow (CATNLF). Для эксперимента под фюзеляж исследовательского самолета F-15B закрепили вертикально ориентированную масштабную модель высотой около 0,9 м (3 фута), напоминающую узкий киль. Такая компоновка позволила подвергнуть прототип р ...>>

Забота о внуках очень полезна для здоровья мозга 14.02.2026

Общение между поколениями приносит радость всей семье, но мало кто задумывается, насколько активно бабушки и дедушки, заботящиеся о внуках, поддерживают свою умственную форму. Регулярное взаимодействие с детьми стимулирует мозг пожилых людей, помогая сохранять память, скорость мышления и общую когнитивную активность. Новые научные данные подтверждают, что такая добровольная помощь не только важна для общества, но и может замедлять возрастные изменения в мозге. Исследователи из Тилбургского университета в Нидерландах провели анализ, чтобы понять, приносит ли уход за внуками реальную пользу здоровью пожилых людей. Ведущий автор работы Флавия Черечес отметила, что многие бабушки и дедушки регулярно присматривают за детьми, и оставался открытым вопрос, насколько это положительно сказывается на их собственном благополучии, особенно в плане когнитивных функций. Ученые поставили цель выяснить, способен ли регулярный уход за внуками замедлить снижение памяти и других умственных способ ...>>

Оптические системы сортировки и AI для черники и фруктов 14.02.2026

Каждый год потребители ожидают увидеть на прилавках свежие, ровные по размеру и цвету ягоды черники без признаков порчи или обезвоживания, при этом производители стремятся минимизировать потери и сохранить естественную привлекательность продукта. В эпоху растущих требований к качеству и дефицита квалифицированной рабочей силы традиционные методы сортировки фруктов уже не всегда справляются с задачей. Именно поэтому компании активно внедряют оптические сканеры в сочетании с искусственным интеллектом, способные анализировать ягоды с невероятной точностью и скоростью, сохраняя при этом их товарный вид. На выставке Fruit Logistica 2026 в Берлине компания Tomra Food презентовала свои последние достижения в области постуборочной обработки. Центральное место на стенде занимает совершенно новая оптическая сортировочная система, специально разработанная для свежей черники и предназначенная для использования непосредственно в упаковочных цехах. Эта машина охватывает весь путь ягод - от загруз ...>>

Монитор ROG Swift OLED PG32UCDM Gen 3 13.02.2026

Для многих поклонников компьютерных игр выбор монитора - это всегда поиск идеального баланса между потрясающей картинкой, молниеносной скоростью отклика и надежностью в длительных игровых сессиях. Технология QD-OLED уже несколько лет задает высокую планку качества изображения, предлагая глубокий черный цвет, яркие краски и практически мгновенную реакцию пикселей. Однако даже у самых продвинутых панелей оставались слабые места: уязвимость к царапинам, цветовые искажения под определенными углами и заметное отражение в освещенных помещениях. Компания ASUS решила серьезно улучшить ситуацию и представила третье поколение своего популярного 32-дюймового флагмана - ROG Swift OLED PG32UCDM Gen 3. В основе новинки лежит современная 32-дюймовая QD-OLED панель с разрешением 4K (3840 x 2160 пикселей), которая обеспечивает невероятную детализацию и точность цветопередачи. Частота обновления достигает 240 Гц, что делает картинку исключительно плавной даже в самых динамичных сценах шутеров или ...>>

Случайная новость из Архива Беспилотные автомобили от Google 10.10.2012 Губернатор Калифорнии Джерри Браун (Jerry Brown), подписал закон, дающий зеленый свет появлению "беспилотных" машин на дорогах штата. Закон определяет рамки безопасности и критерии тестирования машин-автоматов. Водитель, имеющий соответствующие права, все еще будет на месте - в случае необходимости он сможет взять управление не себя. "Сегодня мы видим, как научная фантастика в виде самостоятельно управляемого автомобиля становится реальностью завтрашнего дня, - сказал господин Браун. - Те, кто попадут внутрь такого автомобиля и узнают, что автомобиль ведет себя сам, будут немного напуганы, но они справятся с этим". Как утверждает компания Google, продвигающая идею "беспилотной" машины, безопасность на дорогах только возрастет. В распоряжении Google есть 12 таких автомобилей, которые уже пробежали суммарно 300000 миль. За это время с участием такой машины лишь однажды произошло незначительное происшествие. По данным Google, вмешательство водителя, необходимое для предотвращения опасной ситуации, в среднем требовалось раз в 50000 миль. В автомобилях Google для контроля за дорожной обстановкой и навигации используются камеры, лазеры, радары и другие сенсоры. В отличие от водителя-человека, компьютер не устает и не теряет концентрацию. Кроме того, исключено вождение в нетрезвом виде и лихачество. По оценке главы Google, "автономные машины" могут появиться на рынке в течение десятилетия.

Смотрите полный Архив новостей науки и техники, новинок электроники

www.diagram.com.ua
2000-2026