Оружие массового увольнения: ИИ-детекторы рушат карьеры и мечты

По мере стремительного распространения искусственного интеллекта на рынке появился новый вид услуг — детекторы ИИ-контента. Эти программы должны отличать тексты, написанные человеком, от сгенерированных языковыми моделями вроде ChatGPT. Разработчики обещают высокую точность определения и позиционируют свои инструменты как защиту от плагиата и роботизированного спама . Однако растет число экспертов и реальных случаев, ставящих под сомнение надежность детекторов.

Например, американка Киберлин Гасурас на протяжении 24 лет профессионально занималась журналистикой, зарабатывая на жизнь написанием контента для компаний через фриланс-платформу WritersAccess. Но в середине 2023 года ее доход резко упал — часть клиентов переключилась на ChatGPT. А вскоре Гасурас получила неожиданное сообщение.

«Мне пришло сообщение, в котором говорилось, что мои работы якобы созданы ИИ, по результатам проверки инструментом Originality. Я была поражена, — рассказывает Гасурас. — Я писала им, доказывая свою невиновность, но ответа не последовало. Через некоторое время меня просто забанили на платформе из-за «злоупотребления ИИ». Это невероятно!»

Похожий случай произошел с другим писателем по имени Марк. «Мне прислали результаты одного из моих последних текстов, где детектор оценил вероятность того, что он сгенерирован ИИ, в 95%. Это обвинение прозвучало просто абсурдно после трех лет нашего сотрудничества, которое началось задолго до появления ChatGPT». Марк даже предоставил черновики со временными метками в попытке доказать, что писал вручную, но это не помогло. В итоге он лишился 90% своего дохода.

Истории, когда добросовестные писатели-профессионалы теряют работу из-за ошибочных срабатываний детекторов ИИ, становятся все более распространенными. А многие специалисты открыто критикуют саму технологию.

«Эти компании торгуют псевдонаучными решениями, — утверждает Дебора Вебер-Вульф, профессор Берлинского университета прикладных наук. — Согласно нашим исследованиям, детекторы ИИ неточны, ненадежны, и их очень легко обмануть. Компьютерные программы не могут решить социальные проблемы, нам необходимо искать другие пути».

Некоторые критики указывают на излишнюю самоуверенность разработчиков, которые кричат о высокой эффективности своих продуктов. Так, представители Originality.AI приводят показатели точности в 98,8%, но одновременно говорят о 2,8% ложноположительных срабатываний. Эти две цифры явно противоречат друг другу.

В самих компаниях признают, что столь высокие цифры могут быть достигнуты лишь в специфических тестовых условиях. Реальные показатели точности оказываются существенно ниже. Барс Юхас, сооснователь Undetectable AI, утверждает: «По нашим оценкам, обещания 99-процентной точности просто нереалистичны, — утверждает Барс Юхас. — Даже если представить, что это правда, то все равно один из ста результатов окажется ложноположительным. А ведь речь идет о репутациях и источниках дохода для людей».

Помимо вопросов точности, сами методики тестирования детекторов ИИ подверглись жесткой критике. Компании обвиняют в непрозрачности и возможных погрешностях в выборках текстов, на которых обучаются их системы.

Однако разработчики продолжают настаивать на пользе своих продуктов. «Если ничего не предпринимать, то в будущем интернет рискует утонуть в потоке ИИ-контента — новостных статей, научных публикаций, маркетинговых текстов, — отмечает Алекс Куи, технический директор GPTZero. — Вы даже не сможете понять, писал ли этот пост в соцсетях человек или искусственный интеллект».

Однако даже они признают существенные недостатки разработок. «Мы отлично понимаем боль писателей, когда их тексты, над которыми они изрядно потрудились, ошибочно определяются как сгенерированные ИИ, — говорит Джонатан Гиллхэм, гендиректор Originality.AI. — Наш инструмент задумывался для помощи авторам, но порой он действительно работает во вред».

Разработчики также ссылаются на требования поисковых гигантов, таких как Google, которые якобы ужесточили отношение к сайтам с ИИ-контентом. Впрочем, в самой Google опровергают эту информацию, заявляя, что не вводили запретов на ИИ-тексты как таковые: «Мы пресекаем лишь бесполезный контент низкого качества, созданный в промышленных масштабах ради манипуляции поисковой выдачей. Но сам факт использования ИИ не является нарушением».

Сейчас фриланс-платформы все чаще блокируют авторов из-за ложных обвинений в использовании ИИ, как это произошло с Киберлин Гасурас.

В академической среде ситуация схожая — многие вузы, включая Вандербильтский, Северо-Западный, Мичиганский и Техасский университет в Остине, уже запретили применение детекторов из-за большого числа ошибок. По словам преподавателей, они регулярно получали жалобы студентов на несправедливые обвинения в ИИ-плагиате.

«По моему мнению, проблема не в искусственном интеллекте, а в самих детекторах, — считает упомянутый ранее писатель Марк. — ИИ — это будущее, с этим ничего не поделаешь. Более того, я вижу множество полезных способов его применения. А разработчики детекторов открыто заявляют, что их инструменты безошибочно отличают человеческие тексты от созданных ИИ. Именно они вызывают необоснованную паранойю у наших клиентов и лишают нас работы».

Компании-разработчики заявляют о намерениях совершенствовать свои инструменты. Однако далеко не все эксперты верят в возможность создания по-настоящему точной и беспристрастной модели.

«Всегда найдутся способы обойти такие системы, — утверждает Барс Юхас из Undetectable AI. — Человеческий язык чрезвычайно сложен и многогранен, с бесчисленными нюансами и исключениями. А детекторы сканируют тексты на наличие шаблонов и отклонений от некой условной «нормы». Но что, если моя норма письма отличается от той, на которой обучена модель? Я опасаюсь, что на каждом новом витке развития технологий мы будем видеть всё больше ложных обвинений».

Создается впечатление, что в погоне за коммерческим успехом разработчики детекторов ИИ порой забегают слишком далеко, выдавая желаемое за действительное. А главными жертвами становятся профессиональные писатели и авторы, чей нелегкий труд может быть отвергнут без весомых оснований.