GPT-6 подогрел интерес к рекуррентным трансформерам, Alibaba оказалась впереди

Учёные уже замечали, что у наивных рекуррентных трансформеров после первых проходов новые циклы вносят всё меньше изменений: возникает вычислительная избыточность. Это и была главная проблема. Alibaba вместе с университетскими партнёрами подошла к ней системно, причём задолго до ажиотажа: соответствующие работы появились ещё одиннадцать месяцев назад и теперь обе приняты ведущими конференциями.

Первая из них, MeSH, будет представлена на ICLR 2026. Она добавляет к рекуррентным блокам memory buffer — динамическую память с роутерами записи и чтения. Разные циклы получают возможность по-разному сохранять и извлекать информацию, а значит, и специализироваться: одни обрабатывают текущий токен, другие — долгосрочный контекст. В тестах на уровне модели Pythia-1.4B MeSH позволил сократить примерно треть параметров, при этом средняя точность выросла на 1,06 процентного пункта.

Вторая работа, SpiralFormer, принята на EMNLP 2026. Её идея — менять «разрешение» входных данных на каждом витке. Модель начинает с последовательности, сжатой до одной восьмой длины, затем постепенно переходит к полной длине, как при рассматривании карты: сначала общий контур, потом улицы и дома. Такой метод снижает вычислительные затраты с 14,08 до 13,13 TFLOPs и добавляет 2,44 процентного пункта точности при практически неизменном числе параметров.

Именно так рекуррентные трансформеры превращаются в практичный способ делать модели сильнее без постоянного наращивания размеров. MeSH и SpiralFormer не претендуют на бесплатное увеличение мощности — они заставляют каждый цикл работать осмысленно, а это именно то, что сейчас нужно всей индустрии, внимательно следящей за новыми архитектурами.