JoyAI-Video-Edit от JD редактирует видео в реальном времени

Компания JD.com открыла исходный код модели JoyAI-Video-Edit, которая редактирует видео в реальном времени, без необходимости ждать завершения генерации. Вместо готового файла модель обрабатывает непрерывный видеопоток: меняет объекты в кадре, обстановку и даже действия, пока видео воспроизводится. По заявлению разработчиков, система построена на основе автогрессивной диффузии и состоит из мультимодального языкового энкодера, каузального видео VAE и диффузионного трансформера.

В ходе тестирования модель продемонстрировала несколько сценариев. В ролике с показом мод она заменила товар, сохранив движения модели и пространственное взаимодействие. В интерьере — изменила стиль мебели и освещение, не нарушив структуру пространства. При замене человеческой руки на механическую сохранилась траектория движений и контакт с предметом. Однако сложные текстуры, мелкие детали и сцены с большим количеством людей по-прежнему вызывают трудности: возможны искажения и накопление ошибок на длинных отрезках.

Технически модель использует каузальную механику и фиксированное окно контекста, чтобы объем вычислений не рос бесконечно с длиной видео. На одной NVIDIA B200 достигается пропускная способность около 30 кадров в секунду при задержке примерно 266 миллисекунд. В бенчмарках OpenVE-Bench модель получила 3,60 балла, а в LongV2VBench заняла первое место, что говорит о сокращении разрыва между потоковыми и офлайн-редакторами.

До массового применения пока далеко: высокая стоимость инференса остается барьером, а для задач робототехники таких визуальных данных недостаточно — нужны параметры силы и физического взаимодействия. Тем не менее открытый исходный код позволяет сообществу развивать направление и искать новые применения в прямых эфирах, дизайне и видеопроизводстве.