ИИ против разума: что тест ARC-AGI сказал о будущем

Тест на проверку общего ИИ (AGI), разработанный в 2019 году Франсуа Шолле, привел к важным выводам об ограничениях технологии. Создатели теста заявляют, что результаты – скорее свидетельство недостатков, чем реальный прорыв в области исследований AGI.

Тест ARC-AGI (Abstract and Reasoning Corpus for Artificial General Intelligence) был задуман как инструмент для оценки способности ИИ осваивать новые навыки, выходя за пределы обучающих данных.

До 2024 года лучшие ИИ-модели могли решать менее трети задач ARC-AGI. Шолле критиковал ориентацию индустрии на большие языковые модели (LLM), считая, что они неспособны к подлинному «рассуждению». По словам Шолле, LLM-модели основываются исключительно на запоминании, что делает их уязвимыми к задачам, выходящим за рамки обучающего набора данных.

Для стимулирования исследований, выходящих за пределы LLM, Шолле совместно с Майком Кнупом, сооснователем Zapier, объявили в июне 2024 года конкурс с призовым фондом в $1 миллион на создание открытой ИИ-системы, способной превзойти ARC-AGI. Лучший результат конкурса составил 55,5% — почти на 20% выше предыдущего рекорда, но всё ещё далек от порога в 85%, который считается «человеческим уровнем» и необходим для победы.

Как отметил Кнуп в блоге, такие достижения не говорят о значительном прогрессе к созданию AGI. Многие конкурсные работы использовали подход «перебора» для нахождения решений, что ставит под сомнение ценность задач ARC-AGI для оценки общего интеллекта.

ARC-AGI включает задачи, где ИИ должен генерировать правильные ответы в виде сеток, составленных из разноцветных квадратов. Задачи направлены на проверку способности адаптироваться к новым проблемам. Однако эффективность такого подхода вызвала сомнения.

Сетка вывода ответов ARC-AGI ( arcprize.org )

Создатели теста признают его несовершенства. По словам Кнупа, тест остаётся неизменным с момента создания, и его критика как инструмента для достижения AGI только увеличивается. Дополнительные споры вызывает сама концепция AGI: некоторые эксперты считают, что AGI уже достигнут, если интерпретировать его как способность ИИ превосходить людей в большинстве задач.

Специалисты планируют представить вторую версию теста ARC-AGI в 2025 году, основная цель которого — направить усилия исследовательского сообщества на решение ключевых проблем в области ИИ и ускорить приближение к AGI.