Performer

Performer — архитектура нейросети для быстрой обработки длинных последовательностей (текст, геномы, сигналы). Её суть — замена классического внимания приближённым, что работает быстрее и требует меньше памяти. Обычное внимание сравнивает каждый элемент с каждым, что при росте длины даёт квадратичную сложность: для тысячи элементов — миллион операций. Performer делает процесс почти линейным, поэтому он подходит для больших объёмов данных без потери качества контекста.

Performer действует как библиограф, который сжимает ключевые признаки всех книг в компактную таблицу и быстро находит связи. Вместо попарных сравнений элементы случайно раскладываются в признаковое пространство, а внимание вычисляется через произведение ядерных функций. Это похоже на метод случайных признаков: оценивается похожесть без перебора всех пар. Смысловые взаимосвязи сохраняются, а ресурсов нужно меньше — особенно при текстах от тысяч символов.

Пример: при анализе медицинских записей или юридических документов (сотни тысяч слов) Performer обрабатывает весь документ за один проход, находя связи между ранними симптомами и поздними диагнозами. Классические модели делят текст на куски из-за памяти, теряя глобальный контекст. Линейная сложность Performer позволяет учитывать всю историю сразу и ускоряет поиск информации в разы.

Вывод: Performer решает проблему масштабируемости нейросетей, делая анализ больших последовательностей практичным. Это не просто ускорение, а расширение границ задач ИИ — он может обрабатывать данные целиком, не дробя их.