Project Naptime: ИИ-агент думает как хакер, но работает на благо

Google представил новую архитектуру под названием Project Naptime, предназначенную для использования LLM-моделей в исследовании уязвимостей. Проект Naptime направлен на улучшение методов автоматического обнаружения уязвимостей и повышения уровня кибербезопасности.

Архитектура Naptime основана на взаимодействии ИИ-агента с целевым кодом. ИИ-агент оснащен специализированными инструментами, которые имитируют работу исследователя безопасности, что позволяет более эффективно выявлять и анализировать уязвимости.

Название «Naptime» отражает идею, что проект позволяет исследователям делать перерывы на отдых, в то время как ИИ берет на себя задачи по исследованию уязвимостей и автоматическому анализу вариантов. Naptime использует достижения в области понимания кода и общих способностей к рассуждению, чтобы ИИ мог воспроизводить поведение человека при обнаружении и демонстрации уязвимостей безопасности.

Основные компоненты Project Naptime включают:

• Code Browser: инструмент для навигации по целевому коду;
• Python Tool: инструмент для выполнения скриптов Python в изолированной среде для фаззинга;
• Debugger: инструмент для наблюдения за поведением программы при различных входных данных;
• Reporter: инструмент для мониторинга выполнения задачи.

Проект Naptime универсален и независим от конкретных моделей и серверных решений, что позволяет выявлять переполнения буфера ( Buffer Overflow ) и ошибки повреждения памяти ( Memory Corruption ).

В тестах CYBERSECEVAL 2 новая архитектура продемонстрировала высокие результаты. Google достиг новых максимальных показателей для двух категорий уязвимостей: 1.00 и 0.76, что значительно превосходит результаты GPT-4 Turbo (0.05 и 0.24 соответственно).

Специалисты отметили, что Naptime позволяет LLM проводить исследования уязвимостей, имитируя итеративный, основанный на гипотезах подход, характерный для экспертов по безопасности. Такая функция улучшает способности ИИ-агента по выявлению и анализу уязвимостей, гарантируя точность и воспроизводимость результатов.