ИИ поможет Meta добиться реалистичного звука в виртуальных мирах

29.06.2022

Компания Meta рассказала о работе над технологиями реалистичного звука для виртуальных миров - проект реализуется при содействии ученых Техасского университета в Остине. В рамках проекта были разработаны три модели искусственного интеллекта, доступные для сторонних разработчиков.

Как пояснила Кристен Гаруман (Kristen Garuman), профессор информатики Техасского университета и директор по исследованиям Meta AI, дополненную и виртуальную реальность нельзя сводить только к визуальной составляющей - важную роль в оживлении мира играет звук. На его качество влияют различные факторы: геометрия помещения, размещенные в нем объекты, а также расстояние до источника. Поэтому родилась идея использовать для обработки звука алгоритмы искусственного интеллекта.

Первый алгоритм получил название AviTAR - это "модель визуально-акустического согласования", которая обеспечивает преобразование звука в соответствии со средой. Чтобы объяснить работу алгоритма, авторы проекта привели пример. Мать посетила выступление своего ребенка и при помощи очков дополненной реальности записала его прямо из зрительного зала. Алгоритм приводится в действие, когда женщина хочет воспроизвести запись дома. Система сканирует помещение, учитывая расположенные в нем предметы интерьера, и воспроизводит запись таким образом, как будто юный артист выступает в том же зале.

Второй алгоритм получил название Visually-Informed Dereverberation. Он предназначается для удаления из записи эффекта реверберации - множественных эхо, возникающих при отражении звука от стен и других объектов. Возвращаясь к примеру с детским концертом, мать при воспроизведении записи дома не услышит ничего, кроме музыки.

Наконец, третья модель ИИ получила название VisualVoice - она отделяет голос человека от остальных источников звука. Например, если записать видео, на котором спорят два человека, алгоритм выделит один из голосов, заглушив все остальные.

Как пояснили в Meta, для этого искусственному интеллекту необходимы визуальные подсказки - он должен "видеть", кто говорит, и на основе этой информации различать в общем потоке необходимые нюансы.

<< Назад: Новый способ омоложения кожи 30.06.2022

>> Вперед: Кофе снижает риск заболеваний печени 29.06.2022

Последние новости науки и техники, новинки электроники:

Чувства кота, ожидаюшего возвращения хозяина 16.07.2026

Многие владельцы кошек уверены, что их питомцы совершенно равнодушны к уходу человека из дома. Считается, что кошки - независимые существа, которые спокойно переносят одиночество и даже радуются, оставаясь одни. Однако испанские специалисты по поведению животных считают, что реальность гораздо сложнее. Реакция кошки на отсутствие хозяина зависит от ее индивидуального характера, степени привязанности к человеку и привычного распорядка дня. Кошки хорошо запоминают ежедневные ритуалы своих владельцев. Они способны связывать определенные звуки - звон ключей, шаги у двери или звук закрывающегося замка - с предстоящим уходом человека. Для одних животных эти сигналы означают возможность спокойно лечь спать, а для других становятся причиной беспокойства и длительного ожидания возвращения хозяина. Таким образом, кошка не просто "не замечает" уход, а активно реагирует на связанные с ним изменения в окружающей обстановке. Исследования поведения кошек показывают, что некоторые из них действи ...>>

Целесообразность приема пробиотиков после курса антибиотиков 16.07.2026

Антибиотики остаются одним из самых мощных инструментов современной медицины в борьбе с бактериальными инфекциями. Однако их действие не ограничивается уничтожением только вредных микроорганизмов. Эти препараты способны существенно влиять на состав кишечной микрофлоры, что часто вызывает вопросы у пациентов: насколько серьезны эти изменения, как долго они сохраняются и нужно ли после курса антибиотиков принимать пробиотики для восстановления. На эти вопросы попытались ответить исследователи, проанализировав имеющиеся научные данные. Во время приема антибиотиков многие люди сталкиваются с неприятными симптомами со стороны пищеварительной системы: тошнотой, болями или спазмами в животе, а также диареей. Такие реакции возникают потому, что препараты воздействуют не только на возбудителей инфекции, но и на полезные бактерии, которые населяют кишечник и участвуют в пищеварении, синтезе витаминов и поддержании иммунитета. Некоторые антибиотики, например азитромицин, могут напрямую влия ...>>

Резкое похудение и возврат веса могут навредить сердцу 15.07.2026

Многие люди, желая быстро избавиться от лишних килограммов, прибегают к строгим диетам с резким ограничением калорий. Достигнув желаемого результата, они часто постепенно или быстро возвращаются к прежнему рациону и прежнему весу. На первый взгляд это кажется лишь вопросом внешнего вида, однако ученые предупреждают: постоянные колебания массы тела могут оказывать негативное влияние на сердечно-сосудистую систему и обмен веществ. Так называемый эффект йо-йо, когда периоды активного похудения сменяются повторным набором веса, становится все более распространенным явлением. Новые исследования указывают на возможную связь между такими циклами и ухудшением работы сердца. Организм способен адаптироваться к изменениям питания, но постоянное повторение резких переходов между ограничением калорий и перееданием создает дополнительную нагрузку на различные системы. В одном из экспериментов на лабораторных животных исследователи моделировали эффект йо-йо, периодически снижая калорийность рац ...>>

Разбрасыватель минудобрений Rauch Axis 55 15.07.2026

Немецкая компания Rauch, известная своими высокоточными сельскохозяйственными машинами, представила на выставке DLG Feldtage новый флагманский разбрасыватель минеральных удобрений Axis 55. Эта модель пришла на смену предыдущей версии Axis 50.2 и стала самой крупной в актуальной линейке производителя после выхода более компактной Axis 25 в прошлом году. Новая машина сочетает в себе повышенную производительность, расширенный диапазон рабочих ширин и усовершенствованные системы контроля внесения. Одной из главных технических особенностей Axis 55 стала значительно увеличенная максимальная производительность внесения - до 675 кг удобрений в минуту. Это на 30 % больше по сравнению с предшественником. Благодаря такому показателю разбрасыватель способен обеспечивать норму внесения до 900 кг/га при рабочей ширине 36 метров и скорости движения машины 25 км/ч. При этом устройство сохраняет возможность работы с очень низкими нормами внесения, например, при распределении гранул против улиток, бе ...>>

Антоцианы черники: природная защита для зрения в темноте 14.07.2026

Специалисты все активнее изучают влияние растительных веществ на здоровье глаз. Особое внимание привлекают антоцианы - природные пигменты, которые придают яркую окраску многим ягодам и овощам. Новые данные показывают, что эти соединения способны не только защищать клетки глаз от окислительного стресса, но и ускорять восстановление родопсина - ключевого пигмента, отвечающего за способность видеть в условиях низкой освещенности. Антоцианы содержатся в большом количестве в чернике, голубике, ежевике, черной смородине, а также в краснокочанной капусте и некоторых других красных, синих и фиолетовых продуктах. Эти вещества обладают мощными антиоксидантными и противовоспалительными свойствами. Они помогают нейтрализовать активные формы кислорода, которые повреждают клетки сетчатки и способствуют развитию хронического воспаления. По данным исследователей, антоцианы оказывают комплексное положительное влияние на зрительную систему. Они улучшают микроциркуляцию крови в сетчатке, поддержива ...>>

Случайная новость из Архива Планшет BlackBerry PlayBook 25.11.2010 Продукция канадской компании RIM известна под торговой маркой BlackBerry. Не так давно она анонсировала новый планшет PlayBook, работающий под управлением ОС BlackBerry Tablet. В аппаратную начинку устройства входят двухъядерный процессор с частотой 1 ГГц, 7-дюймовый емкостный сенсорный экран (1024x600) с поддержкой Multi-touch, а также ОЗУ объемом 1 ГБ. Коммуникационные возможности - Wi-Fi 802.11 a/b/g/n и Bluetooth 2.1 + EDR.

Смотрите полный Архив новостей науки и техники, новинок электроники

www.diagram.com.ua
2000-2026