UBTECH показала мировую модель Thinker-WM с единым восприятием и движением

Китайская компания UBTECH, известная своими человекоподобными роботами, представила новую разработку в области embodied AI — унифицированную мультимодальную мировую модель Thinker-WM. Разработка возглавила сразу три признанных отраслевых бенчмарка, задающих стандарты для так называемых «мировых моделей» — систем, которые учатся предсказывать, как изменится окружающая среда в ответ на действия робота. Результаты опубликованы вместе с техническим отчётом, а код и веса модели выложены в открытый доступ.

Первый из покорённых рубежей — WorldOlympiad, бенчмарк, построенный на массиве реальных данных взаимодействия роботов с внешним миром. Он охватывает более десятка различных типов корпусов роботов и несколько конфигураций камер, а главное — проверяет способность модели обобщать знания между разными «телами» и точками обзора. Thinker-WM набрала совокупный балл 0,740 и заняла первое место. Отдельно отмечаются два показателя: согласованность трёхмерной геометрии на уровне 0,531 и точность воспроизведения взаимодействия 0,765 — оба лучшие среди всех участников. Иными словами, модель точно схватывает и пространственную структуру сцены, и то, как именно робот воздействует на объекты.

Второй бенчмарк — EWMBench, где Thinker-WM получила итоговый балл 4,66, обойдя такие заметные решения, как Qwen-RobotWorld и Sora2. Здесь оцениваются три ключевых умения: согласованность сцены, правильность движения конечного эффектора робота и семантическое соответствие командам. За счёт совместного мультимодального моделирования на уровне представлений модель лидирует по ключевым метрикам движения — nDTW, отражающей пространственно-временное совпадение траекторий, и Dyn, характеризующей правдоподобие скоростей и ускорений.

Третий рубеж — симуляционный трек WorldArena 1.0 Track-1. Там Thinker-WM показала преимущество сразу по двенадцати критериям, включая качество визуальной картинки, согласованность контента, физическую правдоподобность, точность 3D-геометрии и следование инструкциям. Модель одновременно выдаёт качественную генерацию изображения и достоверное физическое взаимодействие — сочетание, которое даётся разработчикам с трудом.

В чём же принципиальное отличие от предшественников? Большинство прежних мировых моделей собирались по «сборочному» принципу: генератор видео отвечал за картинку, политика управления — за действия, отдельный модуль предсказывал геометрию, а результаты склеивались через интерфейсы. Проблема в том, что действие меняет среду, среда ограничивает действие, а геометрия влияет на то и другое — физически эти сигналы тесно связаны, и разрезание их по модулям убивает причинно-следственные связи. Простой пример: «стакан столкнули со стола» — это одна фраза на языке, последовательность команд в суставах, отрезок движения объекта в видео и меняющееся поле расстояний в карте глубины. Четыре описания одного события, а не четыре разных объекта.

Команда Thinker пошла другим путём: не склейка на интерфейсах, а единство на уровне представлений. RGB-видео, глубина и действия робота кодируются в общее латентное пространство, где эволюционируют совместно на общих параметрах. Внешний вид, геометрия и движение перестают быть тремя независимыми конвейерами и становятся тремя формами выражения одного процесса. Взаимодействие модальностей происходит внутри трансформера: визуальные, геометрические и моторные токены обмениваются информацией через единый механизм внимания. Глубина при этом стала полноценной генерируемой модальностью, а не вспомогательным сигналом надзора, — физическая структура пространства буквально становится «родным языком» модели. В экспериментах на платформе RoboTwin добавление глубины подняло успешность выполнения задач на 15 процентных пунктов.

Благодаря единому представлению одна и та же модель с одними и теми же весами умеет шесть вещей: предсказывать будущие кадры, строить прогноз мира, рассуждать о стратегии, генерировать видео по действиям, извлекать действия из видео и решать обратную задачу динамики. Обучена она на солидном массиве данных: около 20 тысяч часов видео от первого лица из домашних, торговых и промышленных сценариев, примерно 10 тысяч часов реальных данных с разных роботов и около тысячи часов симуляций с точными физическими и геометрическими метками. Действия разных машин приводятся к единому представлению позы эффектора с индивидуальными метками для каждого корпуса — так разные роботы делят общее пространство генерации, сохраняя точное управление.

Отдельный эксперимент под названием Motion Probe стал доказательством, что единство представлений не декларация, а факт. К замороженным визуальным представлениям модели прикрепили крошечную головку предсказания движения и обучили только её. Оказалось, что чисто визуальные признаки уже содержат информацию о перемещении эффектора, хотя никакого моторного надзора не было. Значит, восприятие и планирование действий действительно глубоко связаны в общем латентном пространстве, а не идут параллельными курсами. Модель уже прошла проверку на роботизированных платформах UBTECH, а команда обещает обновления, технические разборы и программу доработки сторонними разработчиками в своём сообществе Thinker Cosmos.