Пять ведущих вузов Китая запустили первый робототехнический бенчмарк TriWorldBench

Пять ведущих университетов Китая — Пекинский университет, Университет Цинхуа, Бэйханский университет, Шанхайский университет Цзяотун и Университет науки и техники Китая — запустили TriWorldBench Challenge, первый открытый бенчмарк для оценки моделей мира в робототехнике. TriWorldBench проверяет, насколько согласованно модель видит мир с трёх ракурсов: от камеры на голове робота, левом и правом запястьях. В отличие от традиционных видеогенераторов, здесь важно не просто качество картинки, а чтобы все три видеопотока соответствовали одной и той же сцене: движение манипулятора, захват и состояние объектов должны совпадать. Модель должна понимать физику и трёхмерную геометрию, а не только генерировать правдоподобные кадры.

Опубликованы итоги первой недели: участвовало 14 команд, лидируют WoVR_Plus (CASIA-DRL), BetaBWM (TONGJI Spatial Intelligence Team) и Fysiverse-Video (Fysics AI). В основе бенчмарка — 500 эпизодов с синхронизированными записями трёх камер и 50 задач манипуляции. Оценка включает 19 показателей по шести категориям: трёхракурсная согласованность, выполнение задачи, физическая и 3D-консистентность, качество движения, временная согласованность и визуальное качество. Причём красивая картинка не спасает, если модель ошибается в траектории или противоречит сама себе.

TriWorldBench — это не просто рейтинг, а диагностический инструмент: публикуются результаты по отдельным ракурсам и парам камер, чтобы исследователи понимали, что именно нужно улучшать. Бенчмарк открыт для международных команд, список будет обновляться. Авторы надеются сдвинуть фокус с «генерации видео» на «понимание мира» — способность модели предсказывать и интерпретировать реальное пространство.