Китайские учёные создали модель AWM, которая выводит законы физики из наблюдений
Отправной точкой для экспериментов стал игровой набор ARC-AGI-3, где сегодня принято демонстрировать силу передовых моделей. Его особенность в том, что игроку ничего не объясняют: нет ни правил, ни целей, ни подсказок — разбираться во всём приходится самостоятельно, методом проб и ошибок. Топовые системы вроде GPT Astra вместе с фреймворком Provider Adapter набирают здесь впечатляющие 99,9 процента. В процессе игры модель сама превращает механику в набор символьных правил — плотного, насыщенного информацией, куда более точного, чем у конкурентов. Однако, как отмечают авторы работы, по своей сути это лишь записная книжка Тихо Браге — учителя Кеплера и одержимого наблюдателя, который фиксировал колоссальные объёмы данных о движении планет с пугающей точностью. Но он всего лишь описывал явления. Тот, кто сумел вывести из этих данных три закона движения планет и вскрыть стоящие за ними закономерности, был Кеплер. Правила, которые генерирует Astra, — это записная книжка Тихо, а не законы Кеплера: они описывают феномены, но не схватывают суть того, как на самом деле устроен мир маленькой игры.
Именно поэтому чистое наблюдение без понимания приводит к галлюцинациям. Исследователи слегка изменили одну из игр под названием sc25, задав заведомо непроходимое число шагов. К примеру, на четвёртом уровне для победы требуется минимум девятнадцать ходов, а модели оставили всего восемнадцать. Astra попробовала восемь раундов, слегка загрустила и заявила: восемнадцати шагов наверняка не хватит, по моим оценкам, нужно как минимум двадцать два. То есть модель не только не нашла правильный ответ, но и выдала чудовищно неточную цифру. И это не единичный случай: в двенадцати аналогичных тестах топовые GPT-6 Astra и Claude Opus 5.5 вместе взятые лишь пять раз определили, что задача невыполнима, причём в четырёх случаях назвали неверное минимальное число шагов. В игре такая галлюцинация просто подведёт игрока, но если в реальном мире агент выполняет задачу и заявляет, что дело безнадёжно, да ещё и приводит ошибочную причину, последствия могут быть куда серьёзнее. Нам нужно, чтобы ИИ в случае невозможности задачи ясно объяснял, почему именно она невыполнима, и давал точную оценку — например, что достаточно добавить совсем немного условий, и всё получится. Очевидно, что полагаться лишь на интуицию и метод тыка здесь нельзя.
Решение предлагает сила алгебры — та самая алгебраическая модель мира от команды из Цинхуа. Все объекты, отношения и правила игры абстрагируются в «алгебраический мир», а затем мощные математические способности современных больших моделей используются для его понимания. Процесс состоит из трёх этапов. Сначала идёт исследование: модель играет, записывая увиденные явления в виде исполняемого кода на Python как предварительные гипотезы или закономерности. Затем наступает этап кристаллизации: новые наблюдения проверяют и корректируют эти гипотезы, после чего они обобщаются в более универсальные объекты и правила. И наконец — доказательство: закономерности формализуются на языке Lean 4, превращаясь в логически строгие математические утверждения, которые машина способна автоматически проверить. Проще говоря, путь ведёт от проб и ошибок к моделированию и формальному доказательству.
Результаты впечатляют. Перед той самой непроходимой головоломкой AWM на базе модели Opus 5.5 всего за две попытки доказала, что уровень при текущем числе шагов нерешаем, и указала, что для победы достаточно всего одного дополнительного хода. Помимо умения распознавать невозможное, AWM и проходит игры гораздо лучше: на всём тестовом наборе ARC-AGI-3 с моделью Opus 5 она завершила все 183 уровня со счётом 99,9 процента, потратив в среднем лишь 43 процента от числа действий, которое требуется человеку. Это самый эффективный результат среди всех известных на сегодняшний день систем. Вдохновение для архитектуры авторы черпали в теории категорий — отрасли математики, которую называют «математикой математики», поскольку она изучает не конкретную область, а общие структуры, стоящие за разными теориями. Используются два инструмента — проективный и индуктивный пределы, по сути два взаимодополняющих способа мышления: первый позволяет собрать существующие понятия и их связи в определение чего-то нового, второй — найти общее в разных вещах и объединить их в более абстрактную рамку. Перебирая этими способами разрозненные и сумбурные питоновские гипотезы, AWM делает их всё более простыми, ясными и согласованными, пока не получится модель мира, пригодная для рассуждений и доказательств.
Понятно, что у подхода есть границы: доказательство справедливо лишь для «наблюдаемого мира», и если исследование было неполным и какие-то ключевые правила упущены, модель опишет лишь локальную истину, а не полную картину. Поэтому настоящий путь — это бесконечный цикл: наблюдение, гипотеза, эксперимент, абстракция, доказательство и снова наблюдение. Любопытно и то, кто стоит за работой: два первых автора статьи — студенты бакалавриата. Это Пань Гуаньчэн из Чжэцзянского университета, который взял академический отпуск ради исследований в Цинхуа, и Тань Цисинь из знаменитого класса Яо в Цинхуа. Научное руководство осуществляли Юань Ян, доцент Института междисциплинарных информационных исследований и Школы искусственного интеллекта Цинхуа, а также Яо Цичжи — лауреат премии Тьюринга 2000 года, академик Китайской академии наук и декан Института междисциплинарных информационных исследований, лауреат Киотской премии 2021 года и иностранный член Национальной академии наук США.
Источник: www.qbitai.com
Поделиться