Когда ИИ пора перестать верить учебнику?

Но что именно система запоминает? Не только открытия. Вместе с ними в архив попадают устаревшие инструкции, ложный консенсус, случайные ошибки и выводы, которые все повторяют, хотя никто уже не помнит, откуда они взялись. Поэтому научной системе недостаточно уметь узнавать новое. Она должна уметь при достаточных основаниях перестать считать истиной то, что уже очень хорошо «знает». Причём желательно не после первой странной цифры прибора — иначе вместо учёного получится генератор сенсаций. Но и не через сто лет после того, как старая теория окончательно перестала предсказывать мир.

Автор предлагает эксперимент, который проверяет именно этот баланс. В нём одна и та же языковая модель получает одни и те же экспериментальные данные, но разную биографию старой теории. В одной версии она остаётся рабочей гипотезой. В другой успевает стать учебником, обрасти цитатами и породить зависимые знания.

Если решение меняется только из-за статуса и числа пересказов, мы получаем измеримый эффект научного авторитета при неизменной доказательной базе. Если этот эффект можно уменьшить, не заставляя ИИ устраивать революцию после каждого сбоя прибора, возникает уже инженерный вопрос: можно ли программировать не только память исследовательской системы, но и правила, по которым она меняет убеждения?