Facebook разрабатывает системы ИИ, способные видеть, слышать и запоминать

Команда специалистов компании Facebook занимается новым исследовательским проектом по разработке систем на базе искусственного интеллекта, способных постоянно анализировать жизнь людей с помощью видео и помогать им в повседневных задачах. Исследователи Facebook выделили ряд навыков, которые компания хочет развивать в этих системах, включая «эпизодическую память» (ответы на такие вопросы, как «где я оставил свои ключи?») и «аудиовизуальную диаризацию» (запоминание, кто что и когда сказал).

Исследовательский проект Facebook под названием Ego4D состоит из двух основных компонентов: открытого набора данных видеороликов и ряда тестов, с которыми, по мнению Facebook, системы искусственного интеллекта смогут справиться в будущем. Набор данных является крупнейшим в своем роде из когда-либо созданных, и Facebook сотрудничал с 13 университетами по всему миру для сбора сведений. В общей сложности около 3205 часов видеозаписи были записаны 855 пользователями в девяти странах. Участники носили камеры GoPro и очки дополненной реальности, чтобы записывать видео любого характера, включая строительные работы, выпечку, игры с домашними животными и общение с друзьями. Все кадры были анонимизированы, что включало размытие лиц прохожих и удаление любой личной информации.

Второй компонент Ego4D — серия тестов или задач, которые исследователям необходимо было решить с помощью систем искусственного интеллекта, обученных на наборе данных. Задачи включали следующие элементы: эпизодическую память (что и когда произошло, прогнозирование (что нужно делать дальше), манипуляцию руками и предметами, аудиовизуальный дневник (кто и когда что было сказано), социальное взаимодействие (кто с кем взаимодействует).

Как сообщили представители компании, обученные на Ego4D системы однажды могут использоваться в роботах-помощниках по дому или камерах от первого лица для навигации по окружающему миру.

Такие амбиции имеют огромное значение для конфиденциальности. Эксперты по конфиденциальности уже обеспокоены тем, как очки дополненной реальности от Facebook позволят владельцам скрытно записывать информацию о людях. Такие опасения будут только усугубляться, если будущие версии оборудования не только будут записывать кадры, но и анализировать и расшифровывать их, превращая пользователей в ходячие системы наблюдения.