Lion Mountain представила модель Lion-ER-35B-A3B для embodied-рассуждений

Китайская лаборатория Lion Mountain при Advanced Technology Institute (входит в группу China Merchants Group) представила визуально-языковую модель для embodied-рассуждений «Lion-ER-35B-A3B», также известную под торговой маркой «Yuwu». Разработка интересна не рекордным числом параметров, а подходом: вместо бездумного наращивания датасетов команда построила систему, в которой данные проектируются под конкретные способности модели, а результаты тестов напрямую определяют, какие примеры собирать в следующем раунде.

Проблема, которую решали инженеры, знакома каждому, кто пытался научить робота действовать в реальном мире. Человек мгновенно отличает, что объект на видео просто оказался выше в кадре, а не поднялся в трёхмерном пространстве, что мебель в новом ракурсе — тот же самый предмет, а смещение картинки может означать движение камеры, а не объекта. Для «тела» робота такие мелочи оборачиваются провалом задачи: модель путает идентичность предметов при смене точки обзора, принимает поворот камеры за перемещение вещей, неверно оценивает стадию выполнения задания.

Архитектура модели — смесь экспертов (MoE): общий объём около 35 миллиардов параметров, но на каждый токен активируется лишь примерно 3 миллиарда. Именно поэтому прирост качества не сопровождается взрывным ростом вычислительных затрат. По словам разработчиков, на десяти популярных embodied-бенчмарках модель улучшила все показатели по сравнению с базовой версией, а по ряду ключевых способностей обошла и более крупные модели.

Главная идея — так называемый «движок данных, управляемый способностями». Сначала команда составила подробную карту умений: embodied-рассуждения разложены на восемь крупных областей — сущности, пространство, время, физика, аффордансы, задачи, социальные аспекты и доказательства — и 39 подспособностей. Отдельно помечены способ рассуждения, формат входа и формат ответа, чтобы классификации не накладывались друг на друга. Для составных задач, где нужно одновременно оценить прогресс и пространственные отношения, фиксируются основная и вспомогательная способности.

Дальше абстрактные требования превращаются в конкретные тренировочные вопросы — этот этап назвали «компиляцией способностей». Для каждой способности определяется, какие сцены нужны, как организовать наблюдение, какой задать вопрос и на каком основании фиксировать ответ. Например, для рассуждений о смене ракурса задаются число точек обзора, целевой объект и позиция наблюдателя. Проверяется и сама достаточность визуальных свидетельств: если нужный ракурс отсутствует, вопрос нельзя включать в выборку — ответ на него был бы угадыванием.

Третья ступень — гарантия того, что у каждого вопроса есть доказательная база. Используются три взаимодополняющих пути построения заданий: конвертация из существующих пар «вопрос-ответ» и разметки, поиск свидетельств в наблюдениях, вывод из структурированных условий и отношений. На уровне контроля качества работают очистка данных, геометрическая генерация задач с заранее вычисленными ответами и промежуточными отношениями, а также целевой синтез вопросов по реальным изображениям и видео. Синтезированные ответы генеративной модели никогда не принимаются за истину — их проверяют отдельно. Принцип простой: сохранять сложные, но доказуемые задачи и отбрасывать псевдосложные, где не хватает свидетельств. Ошибка модели — не повод удалять пример, а совпадение ответов нескольких моделей — не доказательство правильности. Для особо трудных случаев подключён человек: есть платформа визуальной проверки с сопоставлением ракурсов, покадровым просмотром и разметкой свидетельств.

Обучение шло на 312 380 размеченных примерах, причём бюджет распределялся по потребностям способностей, а не по объёму того или иного источника. Упор сделан на пространственную геометрию, соответствие между ракурсами, траектории действий и планирование задач, а однотипные повторы сокращались в пользу слабых типов рассуждений. Каждый пример прослеживается от кандидата до включения в обучение.

Ключевой элемент — механизм итерации данных Eval-Driven Data Harness. Оценка здесь не финальная ведомость, а старт следующего раунда производства данных. После провала модель проверяют на ошибки разметки и свидетельств, отличают случайный сбой от системного пробела, а затем из пула примерно в 4,3 миллиона записей из 31 источника подбирают новые материалы с той же логикой рассуждения, но другими сценами. Скажем, если модель путает «выше в кадре» с «выше в пространстве», ей подсовывают сцены с многоярусными поверхностями, перекрытиями и перспективными искажениями. Если модель ошибается, определяя направление поворота камеры по двум кадрам, её учат различать движение объекта и движение камеры.

Результат на десяти бенчмарках при усреднении четырёх независимых ответов на вопрос — 65,29 балла. В задаче Where2Place о пространственном размещении — 64,28 против базы, плюс 9,30; в ERQA — 64,38, плюс 6,19; в пространственном SAT — 89,33; в подкатегории понимания траекторий ERQA — 68,18, плюс 12,12. В демонстрационных примерах модель, в отличие от базовой Qwen3.6-35B-A3B и Qwen3.6-27B, безошибочно определяет, что камера опускается, а не предмет поднимается; выбирает единственную траекторию, которая реально достигает зарядного устройства, прежде чем тащить его вправо; восстанавливает планировку квартиры по трём снимкам и понимает, что картина висит за спиной фотографа; наконец, отличает «манипулятор приближается к роллу» от «манипулятор уже на месте» и не объявляет шаг завершённым раньше времени.

Веса модели открыты на Hugging Face в формате BF16 Safetensors и совместимы с Transformers, vLLM и SGLang. Разработчики предлагают применять её для оценки понимания пространственных отношений, анализа состояния сцены, определения стадии задачи и пространственных ограничений, а также для интеграции в робототехнические системы. В планах — расширение на embodied-агентов: вызов инструментов, многораундовое взаимодействие, обратная связь от выполнения и восстановление после сбоев в длинных задачах.