Роботы учатся друг у друга: китайские учёные показали обучение на опыте 96 машин

Группа исследователей из Университета Цинхуа совместно с компаниями Infinigence (Увэнь Синьцюн) и AgiBot предложила новый подход, который может снять один из главных барьеров на пути массового внедрения человекоподобных роботов. Речь идёт о парадигме коллективного обучения на опыте (Collective Experience Learning, CEL), которую авторы проверили не на симуляциях, а на реальном парке из 96 машин. Суть идеи проста и в то же время радикальна: роботы должны учиться не только у людей, но и друг у друга.

Сегодня, когда воплощённый искусственный интеллект выбирается из лабораторий в реальный мир, машинам приходится действовать во всё более сложной обстановке. Чтобы работать хорошо, им нужно накапливать опыт взаимодействия с физическим миром. Распространённый способ — обучение с участием человека: оператор либо многократно показывает нужное движение, либо вручную исправляет ошибки робота. Проблема в том, что роботов можно развернуть сотнями и тысячами, а опытных операторов столько не наберётся — их число не растёт вместе с парком машин. Именно этот дисбаланс и стал узким местом отрасли.

CEL предлагает сменить источник знаний. Робот осваивает задачу не только под присмотром человека, но и за счёт опыта сородичей: успешные наработки одной машины сохраняются и становятся доступны всей группе. Если робот застрял, он ищет решение в прошлом опыте других машин и постепенно улучшает собственное поведение. Чем больше роботов в группе, тем толще копилка опыта, а единый механизм обучения превращает её в рост навыков. Машины перестают ждать человека и начинают умнеть по мере работы.

Эффект проверили в реальных сценариях — от домашнего обслуживания до промышленного производства. В тестах были пять задач: составление букета, складывание одежды, зарядка телефона, сборка табурета и упаковка смартфона. Две машины, вообще не участвовавшие в тренировке, прошли 600 испытаний и ошиблись лишь 15 раз — общая успешность 97,5 процента. Причём по всем пяти задачам результат оказался выше среднего уровня шести человек-операторов. Особенно показательной стала упаковка телефона — многошаговая промышленная операция: после коллективного обучения успешность выросла с 79,2 до 98,3 процента, а в серии из 120 попыток случилось всего две неудачи.

Исследователи отметили и эффект масштаба: когда число машин в обучении выросло с 16 до 96, успешность поднялась с 86,7 до 98,3 процента. Иными словами, при том же времени тренировки большее число участников накапливает больше реального опыта, а тот конвертируется в общий рост интеллекта группы.

Технически результат опирается на два уровня. На системном команда построила отказоустойчивую асинхронную систему обучения (FATS) на базе открытого фреймворка RLinf для масштабного обучения с подкреплением. Она объединяет роботов и вычислительные ресурсы в единую схему: машина завершила задачу — сразу загрузила свой опыт, не дожидаясь остальных, а система тем временем продолжает оптимизировать модель. Предусмотрены и сбои, которых в реальном мире не избежать: колебания сети, отключение устройств, поломки. Даже если часть парка выпадает, кластер продолжает работать. В испытании на 96 роботах было собрано 9834 цикла выполнения задач, 22 машины в сумме дали 30 отказов, но потери машинного времени из-за них составили лишь 1,3 процента от общего. На алгоритмическом уровне предложен метод дообучения с поиском опыта, ориентированным на неудачи (FERT). Он помогает извлекать уроки и из успехов, и из провалов: одна операция может длиться минуты и включать тысячи шагов, а обратная связь приходит одним словом — «успех» или «провал». FERT учит, как надо действовать, по удачным эпизодам и ищет, что именно пошло не так, по неудачным, а при затруднении подбирает похожие успешные примеры из прошлого.

Сотрудничество трёх сторон здесь не менее важно, чем сама технология. Цинхуа даёт академический фундамент, Infinigence — инфраструктуру ИИ, AgiBot — железо и реальные площадки. Вместе они закрывают самый трудный участок между методом из статьи и рабочим навыком на производственной линии. Проверена не только алгоритмическая схема, но и вся цепочка: реальные сценарии рождают опыт, коллективное обучение превращает его в навыки, а масштабное развёртывание питает новые сценарии. Если эта цепочка работает, её смогут перенять другие компании и отрасли, и путь воплощённого ИИ к промышленному внедрению станет заметно яснее. Когда роботы перестают быть одиночными исполнителями и становятся группой, учащейся друг у друга, массовое развёртывание перестаёт быть финальной точкой применения и становится отправной точкой непрерывной эволюции.