Десериализация данных: скрытая угроза для современных ИИ-фреймворков

В фреймворке LLM -модели Llama от компании Meta * недавно была обнаружена критическая уязвимость , позволяющая злоумышленникам выполнять произвольный код на сервере llama-stack inference. Уязвимость получила идентификатор CVE-2024-50050 и оценку 6.3 из 10 баллов по шкале CVSS. При этом компания Snyk присвоила ей критическую оценку в 9.3 балла.

Проблема связана с десериализацией недоверенных данных в компоненте Llama Stack, который определяет API-интерфейсы для разработки приложений на основе искусственного интеллекта, включая использование моделей Llama от Meta. Уязвимость возникает из-за использования Python-библиотеки «pickle», которая может приводить к выполнению произвольного кода при загрузке вредоносных данных.

Как отмечает исследователь безопасности из Oligo Security Ави Лумельски, при наличии доступа к сокету ZeroMQ через сеть злоумышленник может отправить специально созданный объект, который будет десериализован с использованием небезопасной функции «recv_pyobj», что позволяет добиться выполнения произвольного кода на уязвимом хосте.

Meta исправила проблему 10 октября 2024 года в версии 0.0.41, заменив формат сериализации «pickle» на более безопасный JSON. Также уязвимость была устранена в библиотеке «pyzmq», предоставляющей доступ к ZeroMQ. Уязвимость была раскрыта в рамках ответственного раскрытия информации 24 сентября 2024 года.

Примечательно, что это не первый случай выявления подобных уязвимостей в ИИ-фреймворках. В августе 2024 года Oligo Security сообщила об уязвимости в TensorFlow Keras, которая позволяла обойти защиту CVE-2024-3660 и выполнять произвольный код с использованием модуля «marshal».

Инцидент с Llama подчёркивает необходимость повышенного внимания к безопасности фреймворков искусственного интеллекта, так как с развитием технологий их уязвимости становятся всё более масштабными.

* Компания Meta и её продукты признаны экстремистскими, их деятельность запрещена на территории РФ.