VAST открыла исходный код EdenLive — генератора видео в реальном времени

Китайская компания VAST официально выпустила и открыла исходный код EdenLive — модели мира, которая генерирует видео в реальном времени. По заявлению разработчиков, это первый случай, когда одновременно удалось совместить генерацию в реальном времени, приём произвольных референсных входных данных, создание изображения в любом художественном стиле и длительную непрерывную работу. Проще говоря, системе можно скормить упрощённую сцену или опорное видео, добавить целевой первый кадр и текстовую подсказку — и она начнёт непрерывно выдавать детализированную картинку в реалистичном, аниме или любом другом стиле, следуя за композицией и движением из референса. При этом все изменения происходят прямо в процессе генерации в реальном времени.

На одной потребительской видеокарте Nvidia RTX 5090 при разрешении 720p модель с 5 миллиардами параметров выдаёт более 24 кадров в секунду и способна генерировать сцену минутами. Задержка от действия пользователя до появления соответствующего кадра составляет, по данным VAST, порядка сотни миллисекунд. Пока картинка меняется, правила взаимодействия и состояние мира поддерживает вышестоящая интерактивная система: она принимает действия игрока, обновляет состояние, а EdenLive по соответствующим референсным кадрам отображает эти изменения в реальном времени.

Интересно, что ставка на разделение обязанностей между интерактивной системой, которая отвечает за логику и состояние, и генеративной моделью, которая занимается визуальным рендерингом, была сделана VAST ещё в начале июня, когда компания представила исследовательский превью Project Eden. Тогда же была сформулирована идея разделения поддержания состояния мира и визуального рендеринга. Судя по срокам, этот выбор был сделан примерно на три-четыре месяца раньше, чем аналогичный консенсус начал складываться в отрасли. EdenLive — промежуточный результат этого пути: вместе с моделью открыты веса, код инференса, технический отчёт и сквозные демонстрации.

Что модель умеет на практике. Во-первых, это интерактивные игровые превью: подключаются как 2D-, так и 3D-сцены. Сейчас EdenLive лучше подходит для игр с невысокой частотой взаимодействия — брождения по локациям, толкания ящиков, — позволяя авторам прямо во время работы над прототипом видеть, как он выглядит в детализированном исполнении. На одном из демо персонаж с замораживающей пушкой создаёт себе опору на лаве и прыгает вперёд; на другом — двухпользовательский файтинг, где анимация персонажей согласуется с полосками здоровья и таймером раунда. Во-вторых, предпросмотр сцен и анимации: когда компоновка и движение камеры уже заданы, можно менять художественный стиль. Например, пеликан на велосипеде обретает детализированные перья, морское окружение и реалистичные тени, а простая модель заснеженной дороги превращается в сцену с правдоподобной текстурой кузова, снегом и светом. Картинкой управляют три типа входа: референс задаёт компоновку, камеру и движение, целевой первый кадр — общий вид и стиль, а промпт добавляет детали. Один и тот же макет можно отрендерить в разных стилях, чтобы режиссёр или концепт-дизайнер могли сравнивать варианты.

Ещё два сценария — перерендеринг и смена «оболочки» видео, когда в реальном времени подменяются образ персонажа, содержимое кадра и общий стиль. Живого человека на синем фоне можно превратить в мультяшного героя, сохранив позу и цвета одежды, а реальный дом — в рисунок от руки, где линии обводят крышу, стены и оконные рамы, а свет становится мягче. Наконец, модель полезна для аугментации данных в embodied-исследованиях: запись человеческих действий превращается в вид от лица робота, руки заменяются механическими, тряпка меняет цвет с оранжевого на жёлтый, но само движение очистки стола остаётся прежним. Можно менять объекты, материалы и цвета в видео от первого лица, получая из одного ролика несколько версий с разным внешним видом.

Ограничения тоже признают: частые и резкие взаимодействия требуют более высокой скорости и лучшей передачи движений, есть вопросы к сохранению идентичности персонажей при их скоплении, к точному управлению мелкими объектами и визуальной согласованности на длинных генерациях. Вместе с весами и кодом VAST открывает Game Prototype Turbo — навык «Prompt to Proxy Game», позволяющий быстро собрать играбельный прототип: интерактивная система обновляет состояние и выдаёт упрощённые референсные кадры, а EdenLive в реальном времени превращает их в детализированную картинку.

Технически всё держится на разделении состояния мира и визуального рендеринга. В демо с уличной дракой движение, атаки и защита управляются клавишами, интерактивная система обновляет позиции и действия, проверяет попадания и изменение здоровья, а EdenLive рисует по этим данным картинку: простые квадратные персонажи слева превращаются в реалистичных бойцов справа. За кадром остаётся большая работа: сбор и сопоставление парных данных из 2D- и 3D-сцен, рендеров движка и реальных видео с выравниванием компоновки, движения камеры и положения объектов; координация команды на стыке 3D, видеогенерации и системной инженерии; наконец, ставка на трёхуровневую архитектуру — постоянно эволюционирующее структурированное состояние, интерфейс от состояния к наблюдению и генеративный нейрорендеринг. VAST подчёркивает, что использует прежние наработки в 3D, чтобы извлекать из видео глубину, позы камеры и траектории движения, а из игровых движков — парные состояния и рендеры, и так движется к своей цели: дать каждому возможность свободно создавать интерактивные миры и погружаться в них. Компания также набирает исследователей в рамках программы V·STAR — от стажёров до опытных специалистов в области 3D-генерации, трёхмерного понимания, агентов и моделей мира.