Sonicverse: симулятор, который научит роботов слышать

Роботы, которые могут помогать людям в повседневной жизни, становятся все более умными и продвинутыми. Но прежде, чем они смогут работать в реальном мире, им нужно обучиться и протестироваться в специальных симуляторах, которые имитируют разные ситуации и условия.

Большинство таких симуляторов учитывают только то, что роботы видят, а не то, что они слышат. А звуки могут быть очень полезны для роботов, например, чтобы определить местоположение объектов или людей, избежать опасностей или получить голосовые команды.

Исследователи из Стэнфордского университета решили исправить этот недостаток и создали Sonicverse - первый симулятор для обучения роботов, которые могут воспринимать и взаимодействовать со звуками в своем окружении.

Sonicverse моделирует не только визуальные элементы среды, но и звуки, которые робот слышит при исследовании этой среды. Например, в симуляторе можно создать кухню с разными предметами, которые издают характерные звуки. Робот должен научиться распознавать эти звуки и использовать их для выполнения задач.

Одна из таких задач - аудиовизуальная навигация. Робот должен перемещаться по помещению и достигать целевого местоположения без столкновения с препятствиями, используя как зрение, так и слух. Например, робот может получить команду “иди к чайнику” или “найди источник шума”. Для этого ему нужно не только видеть предметы, но и определять направление звуковых сигналов.

Для проверки своего симулятора исследователи использовали его для обучения симулированной версии TurtleBot, робота, созданного Willow Garage. Затем они применили ИИ, обученный в своих симуляциях, к реальному TurtleBot и проверили его способность аудиовизуальной навигации в офисной среде.

“Мы показали, что Sonicverse достаточно реалистичен для того, чтобы перенести обучение из симуляции в реальность, чего не удалось сделать другим аудиовизуальным симуляторам”, - сказал Руохан Гао, один из авторов исследования. “Это значит, что робот, обученный в нашем симуляторе, может успешно выполнять аудиовизуальную навигацию в реальных условиях”.

Результаты тестов, проведенных исследователями, показали, что их симулятор может обучать роботов более эффективно решать реальные задачи, используя как зрение, так и слух. Платформа Sonicverse уже доступна онлайн и может быть полезна другим разработчикам роботов для обучения и тестирования роботов, которые могут воспринимать и взаимодействовать со звуками в своем окружении.