ИИ не справился с оценкой научных статей: итоги годового эксперимента

Современному исследователю почти невозможно уследить за потоком научных публикаций. В одной только IEEE в 2024 году вышло почти 47 тысяч статей по робототехнике и автоматизации, а это лишь часть всех работ. Чтобы понять масштаб проблемы и проверить, способен ли искусственный интеллект помочь в отборе действительно важных исследований, группа ученых решила в течение года прочитать все статьи по одному из направлений робототехники — обучению с демонстрации.

Для анализа они использовали и традиционное чтение, и автоматизированные инструменты на базе больших языковых моделей. Выяснилось, что ИИ неплохо справляется с количественной оценкой и суммаризацией, но не способен оценить подлинную новизну. Модель не замечает, что работа повторяет уже известные решения, и не может понять, когда заявленные результаты преувеличены.

Из более чем трехсот работ только около двадцати процентов были признаны действительно заметным вкладом. Остальные — в основном небольшие улучшения существующих методов или новые области применения. При этом действительно важные работы не всегда отличались высоким числом загрузок или цитирований, что увеличивает риск остаться незамеченными.

Авторы предложили несколько способов решения. Среди них — альтернативные поисковые системы, которые учитывают рецензирование и репутацию журналов, в отличие от Google Scholar, ставящего все публикации на одну доску. Также звучит идея анонимной публикации и отказа от указания авторов и аффилиаций, чтобы содержание говорило само за себя. А большие языковые модели предлагается использовать только как вспомогательный инструмент для краткого изложения, не полагаясь на их оценки новизны.