Исследователи в очередной продемонстрировали, как обмануть ИИ

Системы искусственного интеллекта (ИИ), используемые инструментами распознавания изображений (в частности, в подключенных автомобилях для распознавания дорожных знаков) можно обмануть с помощью недорогостоящей, но эффективной атаки. Для проведения атаки достаточно иметь только камеру, проектор и ПК.

Специалисты Университета Пердью (США) представили исследование под названием Optical Adversarial Attack (OPAD). Атака заключается в использовании проектора для проецирования на 3D-объекты рассчитанных шаблонов, модифицирующих внешний вид объектов для систем распознавания изображений на базе ИИ.

В ходе эксперимента исследователи проецировали шаблоны на дорожный знак «Стоп» и тем самым заставили систему распознавания изображений вместо него увидеть ограничение скорости. По словам исследователей, данная атака может также работать с инструментами распознавания изображений в самых разных приложениях, от военных дронов до систем распознавания лиц, что потенциально подрывает их надежность.

Как сообщил один из авторов отчета и профессор Университета Пердью Стэнли Чан (Stanley Chan), OPAD пока не представляют серьезной угрозы. Однако, по его словам, исследование может помочь в разработке способов защиты от оптических атак, таких как постоянное освещение объекта заранее заданными шаблонами.

Более подробно об атаке OPAD специалисты Университета Пердью планируют рассказать на ICCV 2021 Workshop в октябре. В видео ниже атака продемонстрирована в действии.