Нейросеть не справилась с задачами для поступления в МФТИ

Эксперты МФТИ протестировали генеративную нейросеть Chat GPT-4 Turbo в решении задач ЕГЭ по физике. По итоговым результатам искусственный интеллект (ИИ) не дотянул до успешного абитуриента МФТИ и получил менее 85 баллов — ниже проходного барьера для Физтеха, сообщает пресс-служба вуза.

Как рассказал кандидат физико-математических наук, преподаватель МФТИ Леонид Колдунов, ошибки нейросети в решении и объяснении задач касались как финальных расчетов, так и использования терминов в решении и понимании физики процесса. Кроме того, иногда ИИ делал нелогичные выводы, путаясь в формулировке ответа.

«Успешные решения GPT ограничиваются простыми задачами, требующими формального подхода. Он не способен анализировать процессы или явления, требующие фантазии или более сложных объяснений. Также он не способен интерпретировать условия. Например, он не смог решить задачу, в которой сказано, что длина волны изменится в два раза, но не указано, увеличится она или уменьшится. Здесь нейросеть не смогла выполнить анализ, только описать формулы и ими оперировать. Безусловно, с таким уровнем знаний нейросеть не смогла бы поступить в МФТИ», — отметил Леонид Колдунов. 

Эксперимент также прокомментировал главный аналитик Центра искусственного интеллекта МФТИ, директор ведущей конференции по ИИ в России OpenTalks.AI Игорь Пивоваров. По его словам, несмотря на допущенные ошибки и невозможность творческого подхода в решении задач, модели генеративного интеллекта можно обучить.

В целом эксперты отметили, что пока у всего класса подобных систем ИИ есть проблемы с цепью логических рассуждений, несмотря на то, что в отдельных примерах они демонстрируют ее приемлемый уровень. Параметр последовательной логики у них пока на порядок ниже, чем у человека, поэтому при решении сложных, требующих нетривиальных ходов, математических задач генеративные модели допускают ошибки.

Ранее в НМИЦ им. В.А. Алмазова сообщили, что нейросетевая модель Сбера GigaChat сдала экзамен на врача.