ChatGPT успешно сдал экзамен в медицинский вуз

Ранее мы писали , что ChatGPT успешно сдал экзамен по курсу MBA «Управление операциями», которые обычно сдают студенты бизнес-колледжей. На этот раз группа исследователей заставила популярного чат-бота сдать те же медицинские экзамены, что и начинающие врачи в медицинских вузах США. По их словам, бот справился очень неплохо.

ChatGPT, чат-бот с искусственным интеллектом от OpenAI , продемонстрировал «удивительный и впечатляющий» результат во всех трех тестах, которые являются частью экзамена на получение медицинской лицензии в США. «ChatGPT сдал все три экзамена на уровне проходного порога без какой-либо специальной подготовки», — говорится в исследовательской статье, опубликованной на сайте medRxiv .

Первая часть экзамена на получение медицинской лицензии сдается после двух лет обучения в медицинской школе, и для ее сдачи студенты должны посвятить обучению около 400 часов. Студенты-медики четвертого курса сдают вторую часть экзамена, а врачи с последипломным медицинским образованием до одного года – третью. Понятно, что в эксперименте принимала участие нейросеть, но результат всё равно впечатляющий.

Бот продемонстрировал «умеренную точность» и «высокую внутреннюю согласованность», заявили исследователи. Они также отметили, что производительность искусственного интеллекта, вероятно, будет улучшаться по мере дальнейшего развития языковых моделей.

Чат-бот продемонстрировал низкую точность только в первой части экзамена, которую реальные студенты-медики считают самой сложной. «Этот результат выявляет ключевую уязвимость в предварительно обученных больших языковых моделях: возможности ИИ становятся связанными с человеческими», — говорится в документе.

Учитывая во внимание восприимчивость ИИ к дезинформации, можно сказать, что до полноценного врача ему ещё далеко. Но его можно применять в качестве инструмента для оценки рисков, анализа данных или обучения среди других потенциальных применений. «ChatGPT обладает частичной способностью преподавать медицину, выявляя новые и неочевидные концепции, которые могут быть недоступны для учащихся», — говорится в исследовании.