Amap из Alibaba представила λ0 — первую полнотельную модель обучения роботов

До сих пор индустрия робототехники упиралась в довольно узкое место. Когда роботы выходят из лабораторий в жилые дома, супермаркеты и на склады, им приходится решать не отдельные задачи вроде «взять предмет со стола», а сложные многошаговые сценарии, где нужно одновременно перемещаться, менять положение корпуса и работать руками. Прежние подходы этого не выдерживали. С одной стороны, сбор данных через телеуправление реальным роботом требует дорогого оборудования и постоянного вмешательства оператора, а значит, масштабировать его почти невозможно. С другой стороны, популярные модели класса VLA (зрение — язык — действие), работающие с видом от первого лица, обычно фиксируют только движения кистей и рук и не учитывают динамику суставов, корпуса и позы. Чем сложнее и открытее среда, тем сильнее такое фрагментарное обучение тормозит рост универсальных способностей робота.

Специалисты Amap предложили обходной путь, который сами называют «сбором полнотельных данных без участия самого робота плюс программно-аппаратным выравниванием человека и машины». Суть в том, что данные собирает человек: надевает потребительское устройство и просто ходит и действует в обычной среде, а система записывает всё — зрение, перемещение тела и манипуляции руками. Отказ от дорогой роботизированной платформы радикально меняет экономику процесса: на запись одного показательного примера для типовой задачи уходит около 29 секунд вместо прежних ста секунд, то есть эффективность сбора выросла примерно в 3,4 раза. На основе этой конвейерной схемы исследователи собрали датасет HumanVerse-500 — пятьсот часов полнотельных данных о поведении людей в открытом мире.

Дальше начинается самое интересное — перенос человеческого опыта на железо. Обучение идёт в три этапа: сначала работа с руками, затем общая координация тела и лишь потом адаптация к человекоподобному корпусу. Чтобы сгладить разницу между анатомией человека и конструкцией робота, а также компенсировать погрешности исполнительных механизмов, в λ0 заложены механизмы согласования угла обзора и выравнивания движений по принципу «от грубого к точному». Это позволяет сохранить общую слаженность тела, не потеряв при этом точность физического контакта с предметами.

Результаты выглядят убедительно. В симуляционном бенчмарке SIMPLE и в ряде испытаний на реальных машинах λ0 показала лучшие в своём классе результаты (state of the art). Успешность выполнения задач на реальном роботе оказалась на 22,5% выше, чем у самого сильного из сравниваемых базовых подходов. Отдельно подчёркивается так называемый zero-shot-перенос: в семи задачах на общую координацию тела и длительное перемещение с манипуляциями робот справлялся, опираясь только на данные о действиях человека, без единого собственного демонстрационного прогона. Более того, при том же количестве роботизированных демонстраций рост объёма человеческих данных заметно улучшал поведение машины в реальности. Иными словами, накопление полнотельных записей о людях — работающий путь к повышению практической отдачи человекоподобных роботов.

Проект выполнен совместно Amap и подразделением Alibaba ATH. Цепочка получилась полной: сбор данных без присутствия робота, согласование наблюдений и движений человека и машины, проверка способностей на реальном железе. Это создаёт задел для обучения роботов в инспекции, логистике и других открытых сценариях, где требуется слаженная работа всего тела. Разработчики уже открыли часть наработок: на GitHub выложен код конфигурации аппаратной части, а на HuggingFace доступны примеры из датасета HumanVerse, так что желающие могут познакомиться с технологией напрямую.