Linformer

Linformer — это вариант Transformer, который снижает вычислительную сложность механизма внимания с квадратичной до линейной. В классическом Transformer каждый элемент последовательности сравнивается со всеми остальными, поэтому при росте длины входных данных операции растут в квадрате. Это делает обработку длинных документов, видео и геномов крайне дорогой. Linformer сохраняет сильные стороны архитектуры, но требует лишь линейного роста вычислений.

Зачем это важно? В эпоху моделей, работающих с целыми книгами, медленное внимание становится главным узким местом. Linformer позволяет модели охватывать огромный контекст, не жертвуя скоростью и памятью.

Как это работает? Представьте, что в большой аудитории не каждый говорит с каждым, а выбираются несколько модераторов, передающих общие мнения. Linformer сжимает ключи с помощью обучаемых линейных проекций в небольшое число обобщённых представителей, и запросы сравниваются только с ними. Так сложность становится линейной, но связи между далёкими частями текста сохраняются.

Пример: анализ юридических договоров с перекрёстными ссылками между разделами. Обычный Transformer замедляется, а Linformer обрабатывает сотни страниц целиком, сопоставляя начало и конец документа за разумное время. Это также помогает в поиске по медицинским статьям и анализе финансовых отчётов.

Итак, Linformer — это компромисс: небольшое упрощение внимания ради практичной работы с длинными данными.