Диффузионные языковые модели выходят на устройства: агенты в 5 раз быстрее, наследник GPT?

В отличие от GPT-подобных моделей, генерирующих токен за токеном, dLLM создают ответ целиком и корректируют его. В некоторых случаях это дает десятикратное ускорение, а параллельные вычисления на периферии позволяют агентам работать локально.

Среди сценариев — агент для программирования и видеоредактор, где dLLM согласует изображения, звук и текст. Это совместная адаптация модели, вычислений и задач, а не простая установка на чип. Acrab предлагает чип GELIX 1 (более 700 TOPS) и терминал Agent Box. Компания привлекла свыше 480 миллионов долларов.

Диффузионные модели становятся трендом: их развивают Google, Inception и Ant Group. Прогнозы говорят о замене GPT в течение двух лет. DiffuSpace, выпустившая DiffuSeq, RDM и DiffuLLaMA, считает, что нужны дальнейшие проверки. Если ускорение подтвердится, dLLM станут важным фактором в ИИ.