Разработка ученых выявляет дипфейки по отражениям в глазах

Специалисты разработали инструмент, автоматически определяющий поддельные фотографии (дипфейки) путем анализа световых отражений в глазах. Инструмент показал эффективность в 94% с портретными фотографиями в рамках экспериментов.

«Роговица похожа на идеальную полусферу и обладает высокой отражающей способностью. Все, что попадает в глаз со светом, излучаемым из этих источников, будет иметь изображение на роговице. У двух глаз должны быть очень похожие отражающие узоры, потому что они видят одно и то же», — пояснили эксперты.

Большинство изображений, созданных искусственным интеллектом, в том числе изображения генеративно-состязательной сети (Generative adversarial network, GAN), не могут воспроизводить подобные отражения. Разработанный учеными инструмент использует этот недостаток ИИ, выявляя крошечные отклонения в отраженном свете в глазах на дипфейковых изображениях. Для проведения экспериментов исследовательская команда использовала реальные изображения с Flickr Faces-HQ, а также изображения лиц несуществующих людей с хранилища thispersondoesnotexist.

Инструмент проводит анализ лица, затем глаз, глазных яблок и, наконец, отраженного в роговице света. Программа с большой точностью сравнивает потенциальные различия в форме, интенсивности света и других характеристиках отраженного света.

Однако, разработка ученых имеет некоторые ограничения. Во-первых, нужен отраженный источник света. Несовпадающие световые отражения глаз также могут быть исправлены во время редактирования изображения. Кроме того, метод учитывает только отдельные пиксели, отраженные в глазах, а не форму глаза, формы внутри глаз или характер того, что отражается в глазах. Наконец, технология сравнивает отражения в обоих глазах, и если у человека отсутствует глаз или глаз попросту не видно, методика не срабатывает.