Диффузионная модель Clover обгоняет агентов Gemini по скорости

Китайская компания «Диффузион интеллект» (Diffusion Intelligence) представила новую языковую модель Clover-35B-A3B-Preview, построенную на основе диффузионной архитектуры, а не привычной авторегрессионной схемы. Судя по демонстрациям, модель способна писать код, генерировать веб-страницы и выполнять задачи агента — то есть самостоятельно вызывать инструменты и доводить многошаговые сценарии до конца. Главное, что подчёркивают разработчики и первые пользователи, — скорость: генерация интерактивного симулятора Солнечной системы занимает несколько секунд, а сборка резюме в формате LaTeX из разрозненных данных укладывается примерно в десяток секунд.

Особый интерес вызывает сравнение с Jev — недавним проектом, который как раз позиционируется как быстрый агент. В бенчмарке WindTunnel, где оценивается работа веб-агентов на 49 задачах с тремя попытками на каждую, медианное время выполнения у Clover составило 1,52 секунды против 3,21 секунды у связки Jev и Mercury 2.5. Доля успешных попыток тоже оказалась чуть выше — 98,6% против 95,9%. С Gemini из той же таблицы разрыв по скорости ещё заметнее. По сути, диффузионная модель, которую привыкли ассоциировать с генерацией картинок и видео, вторгается на территорию, где до сих пор безраздельно правили авторегрессионные языковые модели.

Архитектурно Clover-35B-A3B-Preview использует схему MoE: при общем числе параметров 35 миллиардов на каждый токен активируется около трёх миллиардов, поддерживается режим размышления. Это заметный шаг вперёд по сравнению с Dream 7B, предыдущей моделью той же команды, у которой было семь миллиардов параметров. Важно, что рост масштаба не привёл к падению скорости: в сравнении с авторегрессионными моделями сопоставимого размера Clover выглядит быстрее. В официальных демонстрациях модель через протокол WebMCP последовательно решает шесть задач — от выставления счёта и записи на курс до суммирования сумм, проверки статуса мероприятия и запроса данных о клиенте и счетах. В сценарии онлайн-покупок она находит чёрную футболку нужного фасона и размера, кладёт её в корзину, заполняет данные гостя и проходит тестовое оформление заказа.

Именно непрерывные многошаговые операции разработчики называют ключевым достижением. Раньше диффузионные языковые модели, обладая потенциалом параллельной генерации, в агентских задачах вели себя нестабильно: путались в формате вызова инструментов, зацикливались на одном шаге и не корректировали действия по результатам обратной связи. Clover, по заявлению команды, научилась вызывать инструмент, считывать ответ и продолжать работу до завершения задачи. В бенчмарках, связанных с использованием инструментов, модель получила 65,3 балла в τ³ Overall и 67,9 в BFCL-v4, оказавшись в числе лидеров. В проверке на реальных репозиториях SWE-bench Verified результат составил 73,6, а в Terminal-Bench 2.1, оценивающем работу в терминале, — 51,7.

Чтобы понять, откуда берётся скорость, стоит вспомнить разницу между двумя подходами. Обычная авторегрессионная модель предсказывает следующий токен строго за предыдущим, как в игре в слова, и выстраивает текст последовательно. Диффузионная языковая модель обновляет несколько позиций одновременно и за несколько раундов уточнения постепенно приходит к результату, восстанавливая зашумлённый или замаскированный фрагмент до осмысленного текста. Clover использует так называемую блочную диффузию: контент делится на блоки, блоки идут друг за другом, а внутри блока позиции обновляются параллельно и могут ссылаться друг на друга. Один вычислительный проход таким образом продвигает сразу несколько позиций.

Однако параллельность сама по себе не гарантирует качества: нужно несколько раундов очистки от шума, а в задачах с кодом и агентами контекст постоянно растёт — предыдущие инструкции, уже выполненные действия и ответы инструментов влияют на следующий шаг. Команда перестроила сеть Gated Delta Net вокруг блочной диффузии: накопленный контекст сжимается в постоянно обновляемое состояние, а текущий блок обрабатывается двунаправленным вниманием. Историческая память считывается как отдельная информационная единица и участвует в вычислении внимания вместе с текущими токенами, так что модель сама учится взвешивать прошлое и настоящее. Дополнительно применяется обучаемая калибровка размера блока, чтобы при укрупнении блоков история не размывалась.

Clover — не единственная попытка в этом направлении. В академической среде и индустрии уже есть ELF с участием Хэ Каймина, генерирующий язык в непрерывном пространстве вложений, DiffusionGemma от Google с параллельной генерацией текста, а также разработки крупных китайских компаний для задач программирования. За спиной самой Diffusion Intelligence стоят профессор Гонконгского университета Кун Линпэн и его аспиранты Гун Шаньсань и Е Цзячэн; их работа с диффузионными языковыми моделями началась ещё в 2022 году с DiffuSeq, а в апреле 2025 года вышла Dream 7B. Теперь команда обещает мультимодальную версию Clover, адаптацию под периферийные устройства и дальнейшее масштабирование.