Может ли ИИ читать мысли? LLM-модели осваивают теорию разума

Новое исследование показало, что большие языковые модели могут имитировать способность понимать психическое состояние других людей, известную как теория разума. Открытие сделано командой ученых из Медицинского центра Гамбург-Эппендорф в Германии.

Ученые провели тщательные тестирования нескольких языковых моделей, включая GPT-4 от OpenAI и Llama 2-70b от Meta*, а также 1 907 человек. Тесты включали пять типичных задач теории разума:

1. Понимание намеков: Участникам предлагались ситуации, в которых нужно было распознать скрытые значения или недосказанные сообщения.
2. Ирония: Участники должны были определить, когда сказанное подразумевало противоположное значение.
3. Социальные ошибки: Задачи включали ситуации, где кто-то случайно совершал социальную ошибку, и нужно было определить, заметил ли он это.
4. Ложные убеждения: Тесты проверяли, могут ли участники понять, что человек может иметь неверное представление о ситуации (например, где кто-то ищет предмет, перемещенный в его отсутствие).
5. Сложные истории: Участники анализировали истории с запутанными ситуациями, где персонажи лгали, манипулировали или не понимали друг друга.

GPT-4 показал результаты, сравнимые с человеческими в тестах на ложные убеждения, и даже превзошел людей в задачах на иронию, намеки и сложные истории. Однако он уступил в тесте на социальные ошибки.

Модель Llama-2 , напротив, показала хорошие результаты в тестах на ложные убеждения, но хуже справилась с задачами на иронию, намеки и сложные истории, при этом лучше справившись с социальными ошибками.

Исследователи подчеркивают, что результаты не доказывают наличие теории разума у языковых моделей. Они лишь показывают, что модели могут демонстрировать поведение, похожее на человеческое в таких задачах. Некоторые эксперты призывают с осторожностью воспринимать результаты исследования, а также предупреждают о возможных рисках и ошибочных выводах.

Напомним, что сооснователь Ethereum Виталик Бутерин заявил, что GPT-4 успешно прошел тест Тьюринга. По результатам исследования, люди ошибочно считали GPT-4 человеком в 56% случаев. Бутерин подчеркнул значимость достижения, указав, что преодоление этапа теста Тьюринга является важной вехой, подтверждающей серьёзность достижений в области ИИ.

Кроме того, недавно ученые заявили, что существует множество противоречивых теорий о том, как и где возникает сознание в мозге. Они рассматривают возможность объединения различных теорий, предполагая, что сознание можно объяснить через локальные и глобальные нейронные связи.

* Компания Meta и её продукты признаны экстремистскими, их деятельность запрещена на территории РФ.