Google открыла код Harness² для самосовершенствования ИИ

Google открыла исходный код нового исследовательского проекта в области рекурсивного самосовершенствования ИИ — и это, пожалуй, одна из самых интересных новостей за последнее время в теме автономных агентов. Система называется Harness², и её суть в том, что большая языковая модель прямо во время работы сама себе переписывает вспомогательный код, системные промпты, цепочки инструментов и библиотеку навыков. Иными словами, речь идёт о рекурсивном самосовершенствовании на уровне так называемого «харнесса» — обвязки, которая управляет поведением модели.

Эффект впечатляет. Модель GLM-5, оснащённая этой надстройкой, на офисном бенчмарке WorkBuddy-Bench прибавила сразу 11,5 балла и обошла оригинальную Gemini 3.5 Flash. Причём это работает почти как читерский мод: любой модели, к которой подключили Harness², результаты заметно взлетают. Проект уже полностью открыт, поддерживаются популярные среды OpenCode и Codex.

Почему прежние попытки «самоулучшения» проваливались? Идея рекурсивного самосовершенствования выглядит красиво: пусть ИИ сам пишет код, правит промпты и оптимизирует систему. Но в реальном открытом мире такие эксперименты почти всегда заканчивались провалом. Главных камней преткновения два. Во-первых, нет эталонного ответа: в лаборатории есть юнит-тесты и ground truth, а в реальной работе — будь то бизнес-план или проверка юридического контракта — никто не выставляет оценку, и модель не понимает, стала ли она умнее или просто начала выдумывать. Во-вторых, происходит переобучение под одну задачу: едва систему подлатали под конкретный сценарий, как следующий запрос оказывается совсем другим, и прежние правки превращаются в балласт. Если насильно тащить такую обвязку дальше, система быстро уходит в «шумовую спираль» и становится только глупее.

Команда Google предложила Harness² именно против этих двух проблем. В основе — двухуровневая рекурсивная архитектура, и слово «в квадрате» в названии как раз означает два вложенных друг в друга цикла: рекурсию на уровне задач и рекурсию на уровне улучшения самой обвязки.

Первый уровень — рекурсия задач, то есть проведение сравнительных экспериментов там, где нет эталонного ответа. Сначала система прогоняет новую задачу на исходной обвязке и получает опорную траекторию выполнения. Правильность результата пока не важна — главное увидеть, какие слабости проявляет модель по ходу дела. Затем запускается механизм «предложить — прощупать — скомпоновать». На этапе предложения специальная редакторская роль формулирует два набора правок: универсальные исправления типовых дефектов вроде путаного планирования, зацикливания на вызовах инструментов или переполнения контекста, и правки под конкретную предметную область с учётом её знаний и ограничений. На этапе прощупывания оба изменённых кандидата возвращаются в ту же задачу и прогоняются по отдельности. Судьи нет, но система сравнивает их траектории с опорной по поведению и смотрит, действительно ли правка сняла прежний затык и не породила ли новую логическую деградацию. На этапе компоновки все свидетельства собираются вместе, и в итоговую обвязку попадают только те изменения, чья польза подтверждена поведением. Поддерживается и параллельное расширение: можно запустить сразу несколько кандидатов одновременно и выбрать лучшую комбинацию в более широком пространстве поиска.

Второй уровень — рекурсия улучшения, когда опыт правки обвязки превращается в метаспособность. После завершения задачи вся отладочная история — опорная траектория, варианты правок, доказательства сравнения, решения о компоновке — уходит в модуль рефлексии. Тот пишет документ с накопленным опытом и складывает в библиотеку непрерывного улучшения чёткое объяснение: почему сделали именно так, при каких условиях это сработало и к каким последствиям привело. Когда приходит следующая задача, исполнитель снова получает чистую базовую обвязку, но «мозг улучшения» уже держит в руках толстую памятку по истории. На этапах предложения и компоновки он напрямую находит эффективные компоненты и подсказки, как обходить грабли, из похожих прошлых ситуаций. Улучшается не только текущая обвязка, но и сама способность улучшать обвязку в будущем — разовая заплатка превращается в когнитивный актив с непрерывным обучением.

Механику подкрепили замерами на трёх серьёзных профессиональных бенчмарках: WorkBuddy-Bench с кодом, вебом и офисными пакетами, JobBench с длинными сквозными задачами сложных профессий и LAB — открытый юридический бенчмарк от Harvey. Базовыми моделями взяли Gemini 3.5 Flash и GLM-5, а обвязками — OpenCode и Codex. Цифры ошеломительные. Уже при одном шаге улучшения GLM-5 в OpenCode выросла с 64,2 до 75,7 балла, в Codex — с 64,4 до 75,3. Gemini 3.5 Flash поднялась с 72,4 до 77,5 и с 74,5 до 77,5 соответственно. То есть GLM-5 с оптимизированной обвязкой обошла оригинальную Gemini 3.5 Flash без правок. На JobBench одном шаг дал плюс 4,5 балла Gemini 3.5 Flash и плюс 3,6 балла GLM-5, а на юридическом LAB доля частичных прохождений у GLM-5 выросла сразу на 11,8 процентного пункта. При параллельном бюджете в пять кандидатов результаты ещё выше: WorkBuddy-Bench прибавляет до 3,9 балла, JobBench — до 4,2, LAB — до 6,7 процентного пункта. Отдельно проверили перенос библиотеки опыта между доменами: накопленное на JobBench подключили к WorkBuddy-Bench без дополнительного прощупывания и получили безболезненный прирост — плюс 0,6 в коде, плюс 0,5 в вебе и плюс 2,9 в офисе.

Контекст важен: последние два года ожидания отрасли были прикованы к масштабированию базовых моделей — казалось, дождёмся следующего поколения, и прикладные проблемы решатся сами. Реальность оказалась отрезвляющей: модели дорожают, отдача замедляется, а длинный хвост багов в реальных сценариях не исчезает. Сколько ни расширяй контекстное окно, модель всё равно поленится сверять данные между файлами; каким бы высоким ни был рейтинг, она не откроет файл сама, чтобы проверить формат отчёта. Это не выкормить предобучением — нужна инженерия познания времени выполнения, способная себя чувствовать, латать и непрерывно эволюционировать прямо в процессе работы. Раньше обвязку инженер вручную собирал по строчке промптов и инструментов, уставая до полуобморока и всё равно оставляя дыры. Harness² показывает другой путь: вернуть агенту право самому устанавливать правила. Над проектом работали девять авторов, и четверо из пяти с лишним — исследователи китайского происхождения. Первый автор и корреспондирующий автор — Жуйяо Сюй, докторант Северо-Западного университета в США, для которого эта работа стала проектом во время стажировки в Google.