Технология Visual Place Recognition поможет стажерам адаптироваться на рабочем месте

Технология Visual Place Recognition (Визуальное распознавание места) представляет собой один из краеугольных камней развития компьютерного зрения и робототехники. Задача алгоритмов VPR — идентифицировать исследуемые локации на основе изображений.

Исследователи из польской компании NeuroSYS использовали алгоритмы компьютерного зрения как часть разработанной платформы дополнительной реальности Nsflow, обеспечивая интерактивные рабочие инструкции и практическое обучение для определения позиций пользователей во время прохождения обучения на месте. Использование VPR приводит к значительному ускорению процессов адаптации и обучения за счет уменьшения потребности в предварительном обучении и супервизии.

Процесс распознавания мест основан на двухэтапной процедуре, при которой создаются две базы данных. Первоначально целевое место фотографируется, и определенные элементы (ключевые точки), маркируются детектором особенностей для определения характерных элементов местности. После этого отмеченные точки сравниваются с эталонным изображением. Когда сопоставитель признаков считает, что оцененные ключевые точки достаточно похожи, изображение квалифицируется как показывающее то же место.

База данных изображений объединяет снимки целевых местоположений и набор их свойств, включая уникальные идентификаторы, за которыми следуют локальные и глобальные дескрипторы. Другой набор (база данных комнат) сопоставляет отдельные ключевые точки с определенными областями в рассматриваемом пространстве.

Используя нейронные сети SuperPoint, SuperGlue и netVLAD из области визуального распознавания мест, исследователи применили описанный выше процесс для локализации пользователей. Глубокие нейронные сети, SuperPoint и SuperGlue, взаимодействуют в обнаружении и сопоставлении функций, извлекая информацию из баз данных.

Распознавание мест с помощью компьютерного зрения основывается на постоянных элементах исследуемых мест, таких как двери, окна, лестницы и другие отличительные элементы долговечного характера. В ходе исследования для расчетов использовалась глубокая нейронная сеть NetVLAD, которой были представлены векторы, удовлетворяющие заданным требованиям. В процессе глобального сопоставления дескрипторов обрабатываются изображения наиболее похожих векторов, после чего происходят вычисления расстояния между каждой характерной точкой привязки.

При обработке двух баз данных система имеет дело с атрибутами изображений. После выполнения оценки сходства и кратчайшего расстояния вторая нейронная сеть SuperGlue идентифицирует изображения местоположения. Система, использующая VPR, позволяет локализовать пользователя на основе количества совпадающих ключевых точек.

Алгоритмы нашли применение в платформе на базе искусственного интеллекта и дополнительной реальности, помогая пользователям выполнять тренировки с использованием «умных» очков. VPR позволяет стажерам адаптироваться на рабочем месте, запускать соответствующие учебные пособия и руководства, назначенные для определенных мест, повышая безопасность и снижая потребность в непосредственном контроле.