Киберпреступники используют API ChatGPT для обхода контентных ограничений

Исследователи безопасности из ИБ-компании Check Point Research заявили , что хакеры разработали способ обойти ограничения ChatGPT и используют его для продажи услуг, которые позволяют киберпреступникам создавать вредоносные программы и фишинговые электронные письма.

Этот метод работает с использованием API ChatGPT, а не веб-интерфейса. ChatGPT делает API доступным для разработчиков, чтобы они могли интегрировать ИИ-бота в свои приложения, в том числе, в Telegram каналы. Оказывается, API-версия не налагает контентных ограничений и позволяет свободно создавать вредоносный контент, такой как фишинговые электронные письма и вредоносный код.

Пользователь на одном форуме сейчас продает услугу, которая сочетает в себе API ChatGPT и мессенджер Telegram. Первые 20 запросов бесплатны, а затем $5,50 за каждые 100 запросов.

Реклама Telegram бота, который использует ChatGPT для генерации вредоносного контента

Исследователи Check Point протестировали способ обхода ограничений и в результате составили: фишинговое письмо и скрипт, похищающий PDF-документы с зараженного компьютера и отправляющий их злоумышленнику по FTP.

Фишинговое письмо и вредоносный код для кражи PDF, сгенерированные ChatGPT

Кроме того, другие участники форума бесплатно публикуют небольшой bash-скрипт, который обходит ограничения ChatGPT и использует его для любых вредоносных действий, например, для разработки вредоносных программ.

Bash-скрипт для обхода ограничений ChatGPT

Представители OpenAI , компании-разработчика ChatGPT, не ответили на вопрос, знает ли компания о результатах исследования и планирует ли она изменить интерфейс API.

Кроме того, исследователи Check Point ранее Research ранее выяснили, что с помощью ChatGPT можно разработать скрипт для создания даркнет-маркетплейса , на котором можно купить скомпрометированные учетные данные, информацию о платежных картах, вредоносные программы и другие незаконные товары. Код использует сторонний программный интерфейс для получения текущих цен на криптовалюты Monero, Bitcoin и Etherium. Это помогло пользователю устанавливать цены при совершении покупок.

А в январе эксперты CyberArk Labs смогли обойти фильтры контента ChatGPT и создать полиморфное вредоносное ПО , которое не обнаруживается средствами защиты и не оставляет следов в памяти. Чтобы обойти фильтр контента, аналитики «уговорили» ChatGPT написать код программы, подробно описав свой запрос. Чат-бот создал часть кода для внедрения DLL ( DLL Injection ) и закодировал её в base64. Затем исследователи с помощью ChatGPT создали инжектор шелл-кода.