Новая ML-модель может предсказывать, что услышит пользователь в 3D-пространстве

Исследователи из Массачусетского технологического института MIT и лаборатории искусственного интеллекта IBM Watson AI Lab создали модель машинного обучения , которая может предсказать, что пользователь услышит в различных местах 3D-пространства.

Исследователи сначала использовали ML-модель, чтобы понять, как любой звук в комнате будет распространяться в пространстве, создавая 3D-картину комнаты. Это аналогично тому, как люди используют звук для понимания своего окружения.

Визуализация карты громкости, предсказанной NAF в 4 разных комнатах

Эксперты также столкнулись с некоторыми трудностями. Например, изменение местоположения слушателя в комнате может создать совершенно другое впечатление от звука из-за препятствий, формы комнаты и характера звука, что затрудняет прогнозирование результата.

Чтобы преодолеть эту проблему, исследователи встроили в свои модели особенности акустики. Во-первых, источник звука и слушатель могут поменяться местами без изменения звука, который слышит объект. Звук также особенно зависит от особенностей пространства, таких как препятствия на пути слушателя или звука.

«Большинство исследований до сих пор основаны только на моделировании зрения. Но у нашей модели, так же как у людей – мультимодальное восприятие. Важно не только зрение, но и звук. Я думаю, что эта работа открывает захватывающее направление исследований по лучшему использованию звука для моделирования мира», — сказали эксперты.

Используя этот подход, полученная модель нейронного акустического поля (Neural Acoustic Field, NAF) смогла случайным образом выбрать точки на сетке, чтобы изучить особенности звука в определенных местах. Модель смогла предсказать, что слушатель может услышать от определенного источника акустического звука, основываясь на его расположении в комнате.

3D-модель комнаты (слева) и нейронное акустическое поле (справа)

По словам ученых, непрерывный характер NAF позволяет отображать пространственную акустику для слушателя в произвольном месте и может предсказывать распространение звука в новых местах.

Исследователи заключили, что эта техника может открыть новые возможности для создания мультимодального иммерсивного опыта в метавселенной.

Ранее правительство Китая опубликовало план развития индустрии виртуальной реальности и предложило начать исследования в области «симуляции запахов» , предполагая, что пришло время для развития так называемого «Интернета запахов» (Internet of Smell, IoS).