Интерактивный симулятор мира обучает роботов без физического движка

Учить роботов новым манипуляциям обычно дорого: нужны сотни демонстраций на реальном оборудовании, часы в лаборатории, постоянная починка аппаратуры. Исследователи предложили заменить часть этой работы интерактивным симулятором мира — нейросетью, которая предсказывает следующие кадры в пиксельном пространстве по текущему изображению и последовательности действий робота. Внутри нет физического движка, модель сама учится поведению объектов из данных.

Симулятор работает в реальном времени: на одной видеокарте RTX 4090 он выдерживает более десяти минут непрерывного взаимодействия при 15 кадрах в секунду, сохраняя стабильность и физическую правдоподобность. Управлять роботом внутри этой модели можно с телеоператора или даже с клавиатуры в браузере.

Модель обучали на четырех задачах, охватывающих разные физические режимы: толкание твердых объектов, прокладывание каната, захват кружки и подметание кучи. Она различает, попал ли канат в зажим или прошел мимо, замечает, как кружка выскальзывает из захвата, и генерирует согласованные кадры с разных ракурсов.

Главное — симулятор оказался достаточно точным для двух практических применений. Демонстрации, собранные полностью внутри модели, позволили обучить политику, которая успешно работает на реальном роботе и сохраняет устойчивость при внешних помехах. Кроме того, в симуляторе можно многократно прогонять одни и те же политики в идентичных условиях, делая оценку воспроизводимой и масштабируемой.

Авторы подчеркивают разницу с классическими физическими симуляторами, где надо вручную задавать геометрию, трение и деформацию, и с видеомоделями, которые не управляются действиями или слишком медленны. Предложенный подход закрывает этот разрыв, предлагая действие-обусловленный генератор видео как практичный движок для сбора данных и тестирования роботов.