ИИ поможет Meta добиться реалистичного звука в виртуальных мирах

29.06.2022

Компания Meta рассказала о работе над технологиями реалистичного звука для виртуальных миров - проект реализуется при содействии ученых Техасского университета в Остине. В рамках проекта были разработаны три модели искусственного интеллекта, доступные для сторонних разработчиков.

Как пояснила Кристен Гаруман (Kristen Garuman), профессор информатики Техасского университета и директор по исследованиям Meta AI, дополненную и виртуальную реальность нельзя сводить только к визуальной составляющей - важную роль в оживлении мира играет звук. На его качество влияют различные факторы: геометрия помещения, размещенные в нем объекты, а также расстояние до источника. Поэтому родилась идея использовать для обработки звука алгоритмы искусственного интеллекта.

Первый алгоритм получил название AviTAR - это "модель визуально-акустического согласования", которая обеспечивает преобразование звука в соответствии со средой. Чтобы объяснить работу алгоритма, авторы проекта привели пример. Мать посетила выступление своего ребенка и при помощи очков дополненной реальности записала его прямо из зрительного зала. Алгоритм приводится в действие, когда женщина хочет воспроизвести запись дома. Система сканирует помещение, учитывая расположенные в нем предметы интерьера, и воспроизводит запись таким образом, как будто юный артист выступает в том же зале.

Второй алгоритм получил название Visually-Informed Dereverberation. Он предназначается для удаления из записи эффекта реверберации - множественных эхо, возникающих при отражении звука от стен и других объектов. Возвращаясь к примеру с детским концертом, мать при воспроизведении записи дома не услышит ничего, кроме музыки.

Наконец, третья модель ИИ получила название VisualVoice - она отделяет голос человека от остальных источников звука. Например, если записать видео, на котором спорят два человека, алгоритм выделит один из голосов, заглушив все остальные.

Как пояснили в Meta, для этого искусственному интеллекту необходимы визуальные подсказки - он должен "видеть", кто говорит, и на основе этой информации различать в общем потоке необходимые нюансы.

<< Назад: Новый способ омоложения кожи 30.06.2022

>> Вперед: Кофе снижает риск заболеваний печени 29.06.2022

Последние новости науки и техники, новинки электроники:

Власть является ключевым фактором счастья в отношениях 11.03.2026

Исследования семейных и романтических отношений показывают, что длительное счастье пары зависит не только от привычных факторов, таких как доверие, уважение и преданность, но и от более тонких психологических аспектов. Современные ученые ищут закономерности, которые отличают действительно счастливые пары от остальных, чтобы понять, какие механизмы поддерживают гармонию в отношениях. Группа исследователей из Университета Мартина Лютера в Галле-Виттенберге и Бамбергского университета провела опрос среди 181 пары, которые состояли в совместных отношениях более восьми лет и прожили вместе хотя бы месяц. Участники заполняли анкету, описывая различные аспекты своих отношений, включая распределение обязанностей, эмоциональную поддержку и степень вовлеченности в совместные решения. Анализ данных показал интересный паттерн: пары, где оба партнера ощущали высокий уровень личной власти, оказывались наиболее счастливыми и удовлетворенными. В данном контексте под властью понимается способност ...>>

Защищенная колонка-повербанк Anker Soundcore Boom Go 3i 11.03.2026

Компания Anker представила новую модель линейки Soundcore - колонку Soundcore Boom Go 3i, ориентированную на активное использование на улице. Новинка отличается высокой степенью защиты: корпус соответствует стандарту IP68, что обеспечивает водо- и пыленепроницаемость, а ударопрочный дизайн выдерживает падение с высоты до одного метра. За качество звука отвечает 15-ваттный драйвер, обеспечивающий пик громкости до 92 дБ, а технология BassUp 2.0 усиливает низкие частоты, делая звучание более насыщенным. Колонка обладает автономностью до 24 часов, а LED-индикатор позволяет контролировать уровень заряда батареи. Кроме того, Soundcore Boom Go 3i может выполнять функцию павербанка: согласно внутренним тестам, устройство способно зарядить iPhone 17 с нуля до 40% за один час, что делает его полезным аксессуаром в походах и поездках. Среди функциональных особенностей модели стоит выделить технологию Auracast, которая улучшает подключение и позволяет создавать стереопару из двух колонок ...>>

Раннее воздержание от алкоголя перестраивает мозг и иммунитет 10.03.2026

Алкогольная зависимость - хроническое расстройство с компульсивным употреблением спиртного, которое влияет не только на поведение, но и на функционирование мозга и иммунной системы. Недавние исследования показали, что даже на ранних этапах воздержания организм начинает перестраиваться, открывая новые возможности для терапии зависимости. Ученые сосредоточились на пациентах, находящихся в первые недели абстиненции, и зафиксировали значительные изменения в мозговой активности. С помощью функциональной магнитно-резонансной томографии они выявили перестройку сетей нейронных связей, отвечающих за контроль импульсов и принятие решений. Эти изменения могут быть ключевыми для восстановления самоконтроля и снижения риска рецидива. Одновременно с нейронной перестройкой исследователи наблюдали колебания иммунной системы. В крови повышался уровень цитокинов - сигнальных белков, регулирующих воспалительные процессы. Эти данные свидетельствуют о существовании нейроиммунного взаимодействия, при ...>>

Жесткий диск Seagate 44 ТВ 10.03.2026

С ростом объемов данных, обрабатываемых крупными компаниями и дата-центрами, требования к накопителям резко увеличиваются. Seagate анонсировала начало поставок новейших жестких дисков Exos емкостью 44 ТБ, которые обещают сочетание рекордного объема и высокой производительности, благодаря передовой платформе Mozaic 4+ и технологии термомагнитной записи HAMR. Платформа Mozaic 4+ включает десять магнитных пластин, каждая из которых имеет емкость более 4 ТБ. В сумме это позволяет получить общий объем накопителя 44 ТБ - рекордный показатель для современных HDD. В сочетании с вращением шпинделя на скорости 7200 оборотов в минуту это обеспечивает скорость передачи данных порядка 300 МБ/с, что делает диск подходящим для работы с большими массивами информации. Seagate отмечает, что использование Exos повышает общую эффективность систем хранения примерно на 47%. Для корпоративных клиентов это означает сокращение занимаемой площади под кластеры на 9 квадратных метров и снижение годового эне ...>>

Скука - двигатель перемен 09.03.2026

Современная жизнь редко оставляет человеку время на простое ощущение скуки. С развитием цифровых технологий и постоянным доступом к социальным сетям мы стремимся мгновенно развлекать себя, избегая пауз, когда ум может быть свободен от внешних раздражителей. Между тем, новое исследование показывает, что скука выполняет важную роль в психическом здоровье и может стимулировать личностное развитие. Часто скука воспринимается как негативное состояние, которое хочется немедленно устранить. Однако психологи отмечают, что именно моменты, когда человеку становится по-настоящему скучно, могут побудить к поиску нового хобби, пересмотру жизненных приоритетов или появлению свежих идей. Это состояние открывает пространство для саморефлексии и внутреннего роста. Исследователи из Университета Бата и Тринити-колледжа показали, что привычка уходить в социальные сети в моменты скуки мешает человеку достигать "максимальной скуки". В результате стимулируется лишь поверхностное отвлечение, которое не ...>>

Случайная новость из Архива Высокопроизводительные коммутаторы Allied Telesis x930 24.03.2015 Компания Allied Telesis сообщила о выпуске нового семейства высокопроизводительных коммутаторов x930. Новое семейство представлено пятью моделями, отличающимися различными конфигурациями портов, поддерживающими десятигигабитные внешние каналы и реализующими высокоэффективную технологию виртуального стекирования Allied Telesis Virtual Chassis Stacking (VCStack). Коммутаторы серии x930 обеспечивают высокую гибкость и производительность, что позволяет использовать их в приложениях для агрегации каналов и организации распределенного ядра сети. Семейство коммутаторов x930 поддерживает Allied Telesis Management Framework (AMF), эксклюзивную технологию, разработанную Allied Telesis, которая позволяет организациям сократить операционные издержки и помогает снизить нагрузку на ИТ-администраторов. Обеспечивая автоматизацию многих наиболее распространенных задач управления, таких как замена неисправных устройств, модификация сетевых конфигураций, обновление прошивки оборудования или расширение сети, платформа AMF предлагает ИТ-администраторам унифицированный интерфейс управления и возможность автоматизированной установки/настройки и аварийного восстановления сетевых устройств. Все это значительно экономит время и средства, обеспечивая тем самым преимущество в тех проектах, где используется большое количество коммутаторов доступа. Оборудование семейства Allied Telesis x930 позволяет унифицировать управление крупными проводными и беспроводными сетями на базе единой платформы, что способствует снижению сложности сетевой инфраструктуры и делает задачи администрирования более единообразными. Для дальнейшего сокращения издержек и повышения уровня обслуживания в масштабах всей беспроводной инфраструктуры, на коммутаторах серии x930 в виде приложения запускается менеджер беспроводных сетей Allied Telesis Wireless Manager. При использовании Wireless Manager вместе с платформой AMF преимущества интерфейса унифицированного управления становятся доступными для всех проводных и беспроводных сетей, что упрощает задачи управления и позволяет уменьшить сложности, связанные с эксплуатацией и обслуживанием беспроводной сети. L3 коммутаторы серии x930 подходят для средних и крупных организаций, в том числе для школ, больниц и правительственных учреждений, обеспечивая им высокую гибкость, разнообразные конфигурации портов и преимущества технологии Allied Telesis VCStack. Для малых и средних организаций оборудование семейства x930 может выступать в роли коммутаторов ядра. При этом интеллектуальные функции AMF позволяют снизить операционные издержки за счет автоматизации работы сети и возможности интеграции проводных и беспроводных сетей в рамках единой платформы. Коммутаторы поддерживают стекирование на скорости до 160G с возможностью объединения до 8 юнитов для организации высокоскоростной отказоустойчивой магистральной сети - устройства подходят для организации сети в распределенных кампусах или для использования в сценариях аварийного восстановления в условиях сети с двумя ядрами. Два источника питания с возможностью горячей замены не только облегчают процедуры технического обслуживания и дают гарантию бесперебойной работы оборудования, но и обеспечивают известную гибкость в выборе источников питания с поддержкой PoE+, что позволяет увеличивать мощность источников питания для PoE+ в случае расширения сети. Модель AT-x930-24GSTX оснащена 24 медными портами и 24 оптическими комбо-портами и предназначена для тех приложений, где важно обеспечить гибкость в выборе между оптическими или медными соединениями. Семейство коммутаторов x930 представляет собой перспективную платформу, готовую к работе в SDN сетях и поддерживающую возможность программного обновления до 40G Ethernet.

Смотрите полный Архив новостей науки и техники, новинок электроники

www.diagram.com.ua
2000-2026