Битва за этику ИИ: OctoML разрывает связи с Civitai из-за запрещенного контента

Популярная платформа для генерации изображений по текстовому описанию Civitai вынуждена искать нового поставщика облачных вычислений после того, как OctoML, ее нынешний партнер, решил прекратить деловые отношения.

Поводом послужило журналистское расследование издания 404 Media , обнаружившее множественные случаи генерации пользователями Civitai потенциально незаконного контента, в том числе изображений сексуального характера с участием несовершеннолетних. В ответ на это компания OctoML в одностороннем порядке ввела для Civitai жесткий фильтр контента, полностью блокирующий возможность генерации откровенных и порнографических изображений.

Как прокомментировали в компании: «Мы [OctoML] приняли решение прекратить деловые отношения с Civitai. Это решение соответствует нашей приверженности обеспечению безопасного и ответственного использования ИИ».

После ввода фильтрации попытки сгенерировать сомнительные или откровенные изображения стали заканчиваться сообщением «Заблокировано OctoML». Представители Civitai порекомендовали пользователям жаловаться напрямую в OctoML, если они посчитают блокировку необоснованной. Однако в компании остались непреклонны.

Civitai, в свою очередь, ввела собственные методы модерации контента. В частности, введена блокировка запросов, сочетающих имена знаменитостей с откровенными терминами. Также заработала система автоматической корректировки потенциально опасного контента, максимально затрудняющая или исключающая возможность генерации изображений с участием несовершеннолетних в сексуальном контексте.

Однако этого оказалось недостаточно для продолжения сотрудничества с OctoML - компания приняла решение полностью отказаться от предоставления своих вычислительных мощностей для обслуживания запросов пользователей Civitai.

Civitai, привлекшая инвестиции в размере 5,1 миллиона долларов от венчурной фирмы Silicon Valley Andreessen Horowitz, теперь ищет нового партнёра для обработки запросов, ранее выполнявшихся OctoML. В компании обещают восстановить полную работоспособность своего сервиса в ближайшее время.

Ранее онлайн-площадка Civitai представила новую функцию , позволяющую участникам платформы публиковать запросы с вознаграждением для других пользователей.