Наконец-то! Мировые модели обретают звук: 24 FPS и 48 кГц стерео

За два года видеогенерация дошла до 4K и правдоподобной физики, но ролики оставались «готовым продуктом»: в сюжет нельзя вмешаться, ракурс не сменить. Интерактивные мировые модели уже есть у Google DeepMind, Tencent и Ant Group, но у них общий недостаток — они безмолвны. Восполнить пробел решила команда Noiz AI с исследователями из Гонконгского университета науки и технологий, Университета Цинхуа, Университета Карнеги-Меллона и Google DeepMind, выпустив HelixWorld 1.0.

Достаточно загрузить изображение и ввести текстовую подсказку — модель начнет генерировать мир. Пользователь двигается вперед, поворачивается — картинка мгновенно перестраивается, и звуковая сцена меняется вместе с ней. HelixWorld выдает 24 FPS и 48 кГц стерео в реальном времени, причем аудио и видео создаются единой Transformer-архитектурой, а не приклеиваются к готовому видео. Звук зависит от дистанции и направления, так что можно услышать шаги за спиной.

Готовых датасетов с пространственным звуком почти нет, поэтому данные собирали в реальном и игровом мирах: первый дал живые записи с камер на человеке, второй — точную геометрию и источники звука. После чистки отсеяли несинхронные дорожки, остался миллион обучающих фрагментов. Модель сделали причинной: она генерирует следующий кадр, опираясь только на прошлое. Скорость дала дистилляция траекторий и distribution matching distillation, сократившие шаги денисинга.

Команда обещает полностью открыть веса и код HelixWorld в ближайшие недели. Открытый исходный код для Noiz AI — давняя традиция: ранее ее участники выпускали проекты, набравшие в сумме более пятидесяти тысяч звезд на GitHub.

Впрочем, создатели видят более амбициозную цель — превратить мировые модели в симуляцию живого пространства. В планах мультиагентные сценарии с целями и памятью у каждого персонажа, многопользовательские сессии, долгосрочная согласованность на протяжении часов и дней, а затем и автономная эволюция мира, который продолжит жить без участия человека.