Mode collapse

Это важно: ценность генеративных моделей (изображения, тексты, музыка, молекулы) зависит от разнообразия выходов. Если модель для рисования собак выдаёт одну породу в одном ракурсе, она бесполезна для художника. При синтезе лекарств коллапс означает повторение похожих структур — исследователи теряют потенциал новых веществ.

Интуитивно: художник рисует толпу, чтобы обмануть критика, но вместо разных лиц рисует одну маску, меняя фон. Критик не замечает повторений, если менять цвет шапки. Художник выигрывает, но работа однообразна. Так и генератор находит способ обманывать дискриминатор одним типом данных и перестаёт исследовать другие варианты.

Пример: модель портретов несуществующих людей при коллапсе генерирует одно и то же лицо с едва заметными изменениями оттенка. Просьбы «пожилая женщина», «ребёнок», «мужчина с бородой» дают почти идентичные картинки. Частичный коллапс: десять разных лиц, но все блондины с голубыми глазами.

Вывод: mode collapse — фундаментальная проблема: модель не выучила распределение данных, а зазубрила одно удачное решение. Борьба с ним — активная область исследований, включающая модификации архитектур и штрафы за однообразие. Практикам стоит проверять модели на разнообразие, а не только на качество одного ответа. Иначе ИИ становится имитатором одного шаблона, а не творческим генератором.