ИИ-агенты создают виртуальные миры для обучения роботов

Агенты работают на основе мультимодальной модели GPT-5.2. «Дизайнер» придумывает элементы сцены, «критик» оценивает реалистичность, а «оркестратор» управляет их диалогом. Так были созданы более 1300 сцен — рестораны, спальни, гаражи. Каждая содержит в шесть раз больше объектов, чем в предыдущих системах.

SceneSmith позволяет роботам отрабатывать навыки: положить чашку в раковину, разложить фрукты или переместить банку. В тесте контроллер, обученный на реальных данных, успешно справился с задачей «взять яблоко из миски и положить на доску». Телеоперация также подтвердила, что симуляция выдерживает физические взаимодействия.

Оценки ИИ совпадают с человеческими в 99% случаев — это помогает отсеивать неудачные стратегии до реальных испытаний. Сцены строятся поэтапно: план, мебель, стены, потолок, объекты для манипуляций, включая шкафы с дверцами. Такой подход экономит время инженеров и приближает виртуальную тренировку к реальности.