Искусственный мозг под атакой: ученые нашли способ внедрять бекдоры в нейронные сети

Ученые из Университета Торонто и Массачусетского технологического института (MIT) обнаружили , как внедрить “заднюю дверь” в нейронные сети, которая позволяет злоумышленникам манипулировать их поведением. Исследование было опубликовано в журнале IEEE Transactions on Neural Networks and Learning Systems.

Нейронные сети - это алгоритмы машинного обучения, которые способны выполнять сложные задачи, такие как распознавание лиц, перевод текстов и анализ изображений. Однако они также подвержены атакам, которые могут нарушить их работу или использовать их в злонамеренных целях.

Одна из таких атак - это “бекдор”, которая заключается в том, что злоумышленник внедряет скрытый триггер в нейронную сеть, который активируется при определенных условиях. Например, если на изображении появляется определенный символ или цвет, нейронная сеть может выдавать неверный ответ или передавать конфиденциальную информацию.

Ученые разработали метод, который позволяет внедрять бекдоры в нейронные сети таким образом, что она остается незаметной для обычных методов обнаружения. Они использовали технику, называемую “переобучением”, которая заключается в том, что нейронная сеть запоминает определенные примеры из обучающего набора данных, а не обобщает их. Таким образом, они смогли создать триггеры, которые работают только на определенных изображениях, а не на всех.

Ученые провели эксперименты на нескольких типах нейронных сетей и показали, что их метод может эффективно внедрять в них бекдоры. Они также показали, что их метод устойчив к различным способам защиты от таких атак.

Ученые подчеркивают, что их исследование не призывает к использованию бекдоров в нейронных сетях, а наоборот - предупреждает о потенциальной угрозе и стимулирует разработку более надежных методов обнаружения и предотвращения таких атак.