RoPE

Зачем это важно? Трансформеры обрабатывают слова не по порядку, как человек, а все сразу. Без указания позиций модель видела бы предложение как «набор слов», теряя смысл. RoPE помогает модели понимать, что «собака укусила человека» и «человек укусила собаку» — разные вещи.

Как работает на интуитивном уровне? Представьте, что каждое слово — это точка на круге. Позиция слова задаётся поворотом этого круга. Чем дальше слово от начала, тем сильнее оно повёрнуто. Модель вычисляет не просто «где слово», а «как повёрнут вектор». Это позволяет ей учитывать и абсолютную позицию, и относительное расстояние между словами. Более того, поворот на большие углы для дальних слов помогает модели масштабироваться на длинные тексты.

Пример: в чат-боте для поддержки клиентов RoPE позволяет модели запомнить, что пользователь написал «вчера мне не пришёл заказ», и правильно связать «вчера» с прошлым, а не с текущим моментом. Без RoPE модель могла бы спутать порядок действий.

Вывод: RoPE — элегантный способ встроить порядок в модель, которая по своей природе его не видит. Простое геометрическое решение дало огромный скачок качества и длины контекста в современных ИИ.