Диффузионные языковые модели: как устроены, что в них работает, а что вызывает вопросы

Исследователи из команд «Интерпретируемый ИИ» и «Основы генеративного ИИ» AIRI совместно с группой «Генеративная поэзия» SberAI представили развернутый обзор диффузионных языковых моделей (dLLM) — одного из самых обсуждаемых альтернативных направлений в генерации текста. В отличие от классических больших языковых моделей, которые выдают ответ последовательно, токен за токеном слева направо, диффузионные модели создают текст параллельно, сразу несколько фрагментов за раз. Теоретически это дает кратное ускорение по сравнению с привычным автогрессивным подходом.

Еще одна важная особенность dLLM — они не привязаны к строгой последовательности слева направо и могут заполнять произвольные пропуски в уже готовом тексте. Это делает их удобными для задач редактирования, восстановления удаленных фрагментов и работы с нелинейной структурой контента. Такой подход существенно расширяет возможности применения языковых моделей за рамками простого продолжения текста.

Авторы отмечают, что за время работы с dLLM они перепробовали множество архитектур, столкнулись с типичными трудностями и даже предложили собственные варианты решений. Главный вывод, которым они делятся, сводится к тому, что часть подходов действительно работает и демонстрирует стабильные результаты, тогда как другие вызывают серьезные вопросы относительно воспроизводимости. Различия между успешными и проблемными методами часто кроются в деталях обучения и инициализации, поэтому обзор может помочь исследователям избежать уже известных граблей и сэкономить время на экспериментах.

Эта работа важна не только с практической точки зрения, но и как редкий для русскоязычного сообщества случай открытого разбора альтернативных архитектур. Исследователи делятся не только успехами, но и сомнениями, что особенно ценно в быстро развивающейся области, где публикации часто рисуют более радужную картину, чем реальные эксперименты. Материал станет полезным ориентиром для всех, кто интересуется будущим генеративных моделей и ищет способы уйти от классической схемы генерации.