ИИ поможет Meta добиться реалистичного звука в виртуальных мирах

29.06.2022

Компания Meta рассказала о работе над технологиями реалистичного звука для виртуальных миров - проект реализуется при содействии ученых Техасского университета в Остине. В рамках проекта были разработаны три модели искусственного интеллекта, доступные для сторонних разработчиков.

Как пояснила Кристен Гаруман (Kristen Garuman), профессор информатики Техасского университета и директор по исследованиям Meta AI, дополненную и виртуальную реальность нельзя сводить только к визуальной составляющей - важную роль в оживлении мира играет звук. На его качество влияют различные факторы: геометрия помещения, размещенные в нем объекты, а также расстояние до источника. Поэтому родилась идея использовать для обработки звука алгоритмы искусственного интеллекта.

Первый алгоритм получил название AviTAR - это "модель визуально-акустического согласования", которая обеспечивает преобразование звука в соответствии со средой. Чтобы объяснить работу алгоритма, авторы проекта привели пример. Мать посетила выступление своего ребенка и при помощи очков дополненной реальности записала его прямо из зрительного зала. Алгоритм приводится в действие, когда женщина хочет воспроизвести запись дома. Система сканирует помещение, учитывая расположенные в нем предметы интерьера, и воспроизводит запись таким образом, как будто юный артист выступает в том же зале.

Второй алгоритм получил название Visually-Informed Dereverberation. Он предназначается для удаления из записи эффекта реверберации - множественных эхо, возникающих при отражении звука от стен и других объектов. Возвращаясь к примеру с детским концертом, мать при воспроизведении записи дома не услышит ничего, кроме музыки.

Наконец, третья модель ИИ получила название VisualVoice - она отделяет голос человека от остальных источников звука. Например, если записать видео, на котором спорят два человека, алгоритм выделит один из голосов, заглушив все остальные.

Как пояснили в Meta, для этого искусственному интеллекту необходимы визуальные подсказки - он должен "видеть", кто говорит, и на основе этой информации различать в общем потоке необходимые нюансы.

<< Назад: Новый способ омоложения кожи 30.06.2022

>> Вперед: Кофе снижает риск заболеваний печени 29.06.2022

Последние новости науки и техники, новинки электроники:

Впервые преоодолена передача ВИЧ от матери к ребенку 02.01.2026

Проблема вертикальной передачи ВИЧ - от матери к ребенку - остается одной из ключевых задач глобальной медицины. Недавний отчет Всемирной организации здравоохранения (ВОЗ) демонстрирует историческое достижение: Бразилия впервые в своей истории полностью преодолела этот путь передачи вируса. Страна стала 19-й в мире и первой с населением более 100 миллионов человек, которая достигла такого результата. Достижения Бразилии основаны на комплексных медицинских программах, обеспечивающих своевременный доступ к диагностике и терапии для всех слоев населения. ВОЗ официально подтвердило, что уровень передачи ВИЧ от матери к ребенку снизился до менее двух процентов. Более 95% беременных женщин в стране получают регулярный скрининг на ВИЧ и необходимое лечение в рамках стандартного ведения беременности. Изначально программа тестировалась в крупных муниципалитетах и штатах с населением более 100 тысяч человек, а затем была масштабирована на всю страну. Такой подход позволил унифицировать ста ...>>

Нанослой германия увеличивает эффективность солнечных батарей на треть 02.01.2026

Разработка высокоэффективных солнечных батарей остается одной из ключевых задач современной энергетики. Недавнее исследование южнокорейских ученых позволило повысить производительность тонкопленочных солнечных элементов почти на 30%, что открывает новые перспективы для возобновляемых источников энергии, гибкой электроники и сенсорных устройств. Команда исследователей сосредоточилась на элементах на основе моносульфида олова (SnS) - нетоксичного и доступного материала, который идеально подходит для гибких солнечных панелей. До настоящего времени эффективность SnS-устройств оставалась низкой из-за проблем на границе контакта с металлическим электродом. В этой области возникали структурные дефекты, диффузия элементов и электрические потери, что существенно ограничивало возможности таких батарей. "Этот интерфейс был главным барьером для достижения высокой производительности", - отмечает профессор Джейонг Хо из Национального университета Чоннам. Для решения этих проблем ученые предлож ...>>

Электростатическое решение для борьбы с льдом и инеем 01.01.2026

Борьба с льдом и инеем на транспортных средствах и критически важных поверхностях зимой остается сложной и затратной задачей. Ученые из Virginia Tech разработали инновационную технологию, способную разрушать лед и иней без использования тепла или химических реагентов, что открывает новые возможности для безопасной и экологичной зимней эксплуатации транспорта. Исследователи обнаружили, что лед и иней образуют кристаллическую решетку с так называемыми ионными дефектами - заряженными участками, способными перемещаться под воздействием электрического поля. Эти дефекты являются ключом к управлению прочностью льда и его удалением с поверхностей. Когда на замерзшую поверхность подается положительный электрический заряд, отрицательные ионные дефекты притягиваются к источнику поля. Это вызывает разрушение кристаллической решетки льда, в результате чего часть льда буквально "отскакивает" от поверхности. Такой эффект позволяет удалять лед без применения внешнего тепла или химических средств ...>>

Древний лед Антарктики 01.01.2026

Изучение древних ледниковых слоев - один из самых надежных способов понять, как формировался климат Земли и как он может изменяться в будущем. Недавнее открытие международной группы исследователей в Антарктике дает уникальную возможность заглянуть на миллионы лет назад и получить ценную информацию о атмосфере нашей планеты. В районе Аллан-Хиллс ученые пробурили керны древнего льда и обнаружили слои, возраст которых оценивается примерно в 6 миллионов лет. Это старейший лед, когда-либо найденный на Земле и датированный напрямую, что делает находку беспрецедентной в истории климатологии. Особое значение имеют крошечные пузырьки воздуха, запечатленные в ледяных кристаллах. Они служат настоящими "капсулами времени", сохраняя состав атмосферы прошлого. Анализ этих пузырьков позволяет восстановить климатические условия древней Земли, когда средние температуры были выше современных, а уровень океанов значительно выше нынешнего. Древние ледяные керны можно рассматривать как подробные х ...>>

Нано-уровень управления светом 31.12.2025

Современная нанофотоника стремится превратить свет в инструмент точного управления на микроскопическом уровне. Недавние исследования международной команды ученых открывают новые возможности в этой области, позволяя манипулировать светоматериальными волнами на наноуровне с беспрецедентной точностью. Такие достижения могут стать ключом к созданию сверхбыстрых коммуникационных систем и высокочувствительных сенсоров. В центре внимания исследователей оказались гиперболические фонон-поляритоны - особый тип волн, возникающих при взаимодействии света с колебаниями вещества. Эти волны способны концентрировать свет в пространственных масштабах, значительно меньших длины его волны, что позволяет создавать устройства с высокой плотностью интеграции и повышенной функциональностью. Работа велась совместно учеными из Шанхайского транспортного университета, Национального центра нанонауки и технологий Китая, а также коллегами из Испании. Они предложили двухэтапную схему возбуждения волн: сначала ...>>

Случайная новость из Архива Солнце в фокусе 22.09.2007 Израильский центр гелио-энергетики построил в пустыне Негев опытную установку для получения электроэнергии от Солнца. Традиционная солнечная энергетика делится на два направления: либо солнечный свет концентрируют зеркалами на паровом котле, и полученный пар вращает турбину, либо без шума и пара улавливают свет солнечными батареями, непосредственно дающими электроток. Израильские ученые предлагают совместить оба варианта. Сегментное зеркало, напоминающее положенный набок гигантский зонтик, концентрирует свет на солнечном элементе из арсенида галлия. Обычные солнечные элементы таких температур не выдерживают, но прибор, созданный в Институте гелио-энергетических систем в Германии, при высокой температуре работает только эффективнее. Его кпд достигает 41%, что вдвое больше лучших современных образцов. По подсчетам конструкторов, электростанция на таких установках общей мощностью один гигаватт займет 12 квадратных километров.

Смотрите полный Архив новостей науки и техники, новинок электроники

www.diagram.com.ua
2000-2026