Nvidia и MIT выложили в открытый доступ апскейл видео до 2K и 4K на базе MiniMax H3

Команда Efficient-Large-Model, в которую входят исследователи из Nvidia и Массачусетского технологического института, выложила на Hugging Face веса модели проекта Open-H3-Regenerate-2K — открытой реализации высокоразрешающего улучшения видео на базе MiniMax H3. Вместе с весами в репозитории NVlabs/Sana опубликован код для инференса. Схема берёт черновой ролик низкого разрешения и заново генерирует его в высоком качестве: поддерживается выход 2560×1440 (2K), а в пределе — нативное 4K-пересоздание кадра вплоть до 3840×2160. Для русскоязычных студий и энтузиастов это означает, что пайплайн апскейла с генерацией деталей теперь можно развернуть у себя, не обращаясь к внешнему API.

Полная система MiniMax H3 включает несколько звеньев: обработку мультимодального контекста, базовую генерацию видео со звуком и высокоразрешающее пересоздание. Открытые веса получила часть H3-Base, которая отвечает за генерацию аудиовидео в 768P, тогда как официальный модуль H3-Regenerate-2K доступен только через API. Нынешний релиз как раз переиспользует генеративные способности базовой модели и даёт сообществу самостоятельно разворачиваемую открытую реализацию финального, самого тяжёлого этапа.

На этапе дообучения исследователи не трогали исходные параметры трансформерного остова H3 и видео-VAE — тренировался только новый уточняющий LoRA-адаптер. При инференсе этот адаптер объединяется с общественными наработками вроде LightX2V FL2VA Turbo и LMS Sharp, после чего за три шага шумопонижения в целевом разрешении заново прорисовываются детали картинки. Сцену, компоновку кадра и характер движения берут из чернового видео — они служат опорой для всего процесса.

Чтобы ускорить работу, авторы применили разработанный сообществом усилитель в латентном пространстве: он напрямую увеличивает латентное представление ролика и тем самым сокращает затраты на повторное кодирование и декодирование в высоком разрешении. Дополнительно схема задействует разреженное внимание движка SoL-Engine, вычисления пониженной точности и быстрый декодер VAE — всё это разгоняет этапы уточнения и декодирования.

Замеры, опубликованные командой, впечатляют. На одной видеокарте Nvidia B200 в прогретом режиме обработка примерно пятисекундного клипа — увеличение латента, трёхшаговое уточнение и декодирование в 2K — суммарно занимает 22,45 секунды вместо 87,26 у неоптимизированной версии. Это примерно в 3,9 раза быстрее. Заметнее всего ускорение декодирования: быстрый декодер срезал его с примерно 15 секунд до 1,6.

По качеству картинки команда сравнивала решение на наборе RefinerBench-150 при одинаковом входе и одинаковом выходе 2K. В тесте воспринимаемого качества UniPercept Open-H3-Regenerate-2K набрал в среднем 60,0 балла против 53,4 у официального API H3-Regenerate-2K. В оценке VBench открытая схема получила более высокие баллы за эстетику, качество изображения и согласованность главного объекта, тогда как официальный API остался чуть впереди по плавности движения и динамичности сцены.

Контекст важен: веса MiniMax H3 открыли в августе, и вокруг модели быстро выросли тонкая настройка, дистилляция и адаптация инструментов. За месяц её скачали более 24 миллионов раз, появилось свыше 300 публичных производных моделей — H3 стала одной из самых скачиваемых моделей 2026 года в мире. Совместные разработки Nvidia и MIT идут в разных направлениях: помимо нынешнего улучшения видео, команда выпустила потоковую модель рендеринга StreamRender-H3 на основе H3 Ref2VA и быстрый декодер Sol-H3-VAE, дистиллированный из видео-VAE H3, — первый ориентирован на интерактивный рендеринг, второй на эффективность декодирования. Параллельно LightX2V предложила дистиллированные версии MiniMax-H3 Turbo с четырьмя и восемью шагами, общественная доработка Singularity сделала упор на движения, детали лица и визуальный стиль, зарубежные FastVideo и Pika выпустили четырёхшаговый превью FastH3 и шестишаговый Pika H3 Flex, а ComfyUI и Unsloth через адаптацию весов и квантованные версии втянули H3 в ещё больше локальных творческих пайплайнов.