ИИ поможет Meta добиться реалистичного звука в виртуальных мирах

29.06.2022

Компания Meta рассказала о работе над технологиями реалистичного звука для виртуальных миров - проект реализуется при содействии ученых Техасского университета в Остине. В рамках проекта были разработаны три модели искусственного интеллекта, доступные для сторонних разработчиков.

Как пояснила Кристен Гаруман (Kristen Garuman), профессор информатики Техасского университета и директор по исследованиям Meta AI, дополненную и виртуальную реальность нельзя сводить только к визуальной составляющей - важную роль в оживлении мира играет звук. На его качество влияют различные факторы: геометрия помещения, размещенные в нем объекты, а также расстояние до источника. Поэтому родилась идея использовать для обработки звука алгоритмы искусственного интеллекта.

Первый алгоритм получил название AviTAR - это "модель визуально-акустического согласования", которая обеспечивает преобразование звука в соответствии со средой. Чтобы объяснить работу алгоритма, авторы проекта привели пример. Мать посетила выступление своего ребенка и при помощи очков дополненной реальности записала его прямо из зрительного зала. Алгоритм приводится в действие, когда женщина хочет воспроизвести запись дома. Система сканирует помещение, учитывая расположенные в нем предметы интерьера, и воспроизводит запись таким образом, как будто юный артист выступает в том же зале.

Второй алгоритм получил название Visually-Informed Dereverberation. Он предназначается для удаления из записи эффекта реверберации - множественных эхо, возникающих при отражении звука от стен и других объектов. Возвращаясь к примеру с детским концертом, мать при воспроизведении записи дома не услышит ничего, кроме музыки.

Наконец, третья модель ИИ получила название VisualVoice - она отделяет голос человека от остальных источников звука. Например, если записать видео, на котором спорят два человека, алгоритм выделит один из голосов, заглушив все остальные.

Как пояснили в Meta, для этого искусственному интеллекту необходимы визуальные подсказки - он должен "видеть", кто говорит, и на основе этой информации различать в общем потоке необходимые нюансы.

<< Назад: Новый способ омоложения кожи 30.06.2022

>> Вперед: Кофе снижает риск заболеваний печени 29.06.2022

Последние новости науки и техники, новинки электроники:

Ферроэлектрики научились выдерживать более 10 миллиардов циклов перезаписи 11.10.2026

Энергонезависимая память должна не только быстро записывать и сохранять информацию без постоянного питания, но и выдерживать огромное количество циклов перезаписи. Одним из перспективных вариантов такой технологии считаются ферроэлектрические материалы, однако их практическое применение долгое время ограничивалось сравнительно быстрым разрушением. Исследователям удалось установить механизм этого процесса на атомном уровне и предложить способ, который значительно увеличивает срок службы таких материалов. Работу выполнила группа ученых из Университета электронной науки и техники Сианя (Xidian University) совместно с коллегами из Гонконгского университета и Фуданского университета. Особый интерес специалистов вызвали ферроэлектрики со структурой вюрцита, в частности нитрид алюминия-скандия (AlScN). Эти материалы способны сохранять информацию благодаря изменению направления электрической поляризации на атомном уровне и хорошо совместимы с современными технологиями производства микросхем ...>>

Электромобиль VENTRA с системой очистки воздуха 11.10.2026

Даже автомобили без двигателя внутреннего сгорания не являются полностью безвредными для окружающей среды. При движении любой автомобиль изнашивает шины и тормозные элементы, в результате чего в воздух и на дорожное покрытие попадают мельчайшие частицы. Студенты Эйндховенского технологического университета решили обратить внимание именно на этот мало заметный источник загрязнения и создали концептуальный электромобиль VENTRA, способный собирать часть таких загрязняющих веществ непосредственно во время движения. Проект разработала команда TU/ecomotive, которая оснастила VENTRA специальной системой улавливания частиц, образующихся при износе шин и торможении. Авторы концепта считают, что переход на электрическую тягу сам по себе не решает проблему автомобильных выбросов. Более тяжелые электромобили дополнительно нагружают шины, а их электродвигатели способны обеспечивать очень быстрое ускорение, что также может способствовать повышенному износу резины. Собранные около колес частицы си ...>>

Лазерное переключение магнитов 10.10.2026

Технологии хранения данных постоянно стремятся уменьшить размеры элементов памяти и одновременно увеличить скорость записи информации. Один из возможных путей связан с использованием света, который способен переносить энергию с огромной скоростью и воздействовать на очень небольшие области материала. Инженеры Университета Калифорнии в Сан-Диего (UC San Diego) продемонстрировали необычный способ управления магнитным состоянием вещества, при котором внешнее магнитное поле вообще не требуется. В обычных жестких дисках информация записывается в виде последовательности крошечных магнитных областей, соответствующих значениям 1 и 0. Для изменения их состояния обычно необходимо внешнее магнитное поле, однако такой способ требует значительных энергетических затрат и ограничивает скорость записи. Исследователи UC San Diego предложили альтернативу - так называемое оптическое переключение, при котором магнитное состояние изменяется под воздействием лазерного излучения. По оценкам специалистов, ...>>

Наушники Neurable One с мониторингом концентрации и усталости мозга 10.10.2026

Современные наушники постепенно превращаются из обычного аудиоустройства в персональный электронный помощник. Они уже умеют подавлять окружающий шум, анализировать качество звука и отслеживать некоторые параметры физического состояния человека. Американская компания Neurable пошла еще дальше и предложила использовать наушники для оценки активности мозга, чтобы определить, насколько человек сосредоточен, испытывает умственное напряжение или начинает уставать. Новая модель получила название Neurable One и оснащена 12 датчиками, способными регистрировать электрическую активность мозга. В основе технологии лежит электроэнцефалография, или EEG, применяемая для фиксации электрических сигналов, возникающих при работе нервной системы. Датчики размещены во внутренних накладках наушников и начинают получать информацию сразу после того, как пользователь надевает устройство. Затем специальное приложение анализирует полученные данные и оценивает текущее состояние человека. Разработчики предус ...>>

Климатический кризис меняет питание детей и влияет на их здоровье 09.10.2026

Когда говорят о влиянии климатических изменений на здоровье человека, чаще всего вспоминают экстремальную жару, наводнения, засухи или лесные пожары. Однако последствия глобального потепления могут проявляться гораздо менее заметно. Один из таких механизмов связан с продовольствием: изменения климата способны влиять на урожайность, стоимость продуктов и их доступность, а через это - на качество питания детей. Особое значение эта проблема приобретает в первые годы жизни. Дети в возрасте до пяти лет особенно чувствительны к недостатку необходимых питательных веществ, поскольку именно в этот период питание и окружающая среда тесно связаны с ростом организма, развитием и формированием иммунной системы. Если полноценная пища становится менее доступной, последствия могут проявляться не сразу, но отражаться на здоровье ребенка в дальнейшем. Бразильские исследователи попытались определить, где подобные проблемы могут пересекаться с климатическими факторами. Для этого специалисты разработ ...>>

Случайная новость из Архива Бактерии в космосе становятся устойчивее к антибиотикам 23.10.2017 В условиях микрогравитации у бактерий значительно повышается резистентность к действию антибиотиков, чему способствуют сразу несколько механизмов. Такой вывод следует из экспериментов, проводившихся учеными из университета Колорадо-Боулдер. Уже в течение некоторого времени было известно, что в космосе поведение бактерий меняется - в частности, они становятся более устойчивыми к антибиотикам, то есть для их уничтожения требуются бoльшие концентрации. Однако механизмы, лежащие в основе такой метаморфозы, до сих пор оставались загадкой. Чтобы разобраться в этом, Зеа с коллегами отправили образцы штаммов кишечной палочки (E.coli) на Международную космическую станцию (МКС), где на них воздействовали разными концентрациями антибиотика сульфата гентамицина. Оказалось, что количество клеток E.coli, по сравнению с контрольной группой на Земле, находившейся в таких же условиях (если не считать гравитации, конечно), выросло в 13 раз, но при этом их средний размер снизился на 73%. Анализ показал, что именно помогло кишечной палочке столь резко повысить свою резистентность во время пребывания на МКС. Во-первых, оболочка клеток и клеточная мембрана в условиях микрогравитации стали толще. Во-вторых, бактерии стали чаще собираться в плотные комки, в которых внешние клетки "жертвуют собой", умирая от антибиотика, тем самым помогая выжить находящимся в "центре". Наконец, третье важное обстоятельство заключается в том, что некоторые клетки бактерий начали производить мембранные молекулы (пузырьки), которые позволяют им "общаться" друг с другом - потенциально это позволяет запустить процесс заражения организма. Все это означает, что патогенные штаммы бактерий (а у E.coli такие тоже есть) в космосе будут во много раз опаснее, и лечить вызываемые ими инфекции будет гораздо сложнее. Тревожная новость для космонавтов.

Смотрите полный Архив новостей науки и техники, новинок электроники

www.diagram.com.ua
2000-2026