Rotary Position Embedding

Что такое Rotary Position Embedding? Это способ сообщить нейросети, в каком порядке стоят слова в тексте. Обычные модели обрабатывают слова по отдельности, и без специальной метки фразы «кот укусил собаку» и «собака укусила кота» для них неотличимы. Вращательные позиционные кодировки решают эту проблему, поворачивая вектор каждого слова на угол, зависящий от его места в предложении.

Зачем это важно? Современные большие языковые модели читают текст не последовательно, а сразу целиком. Это ускоряет обучение, но лишает модель чувства порядка. Ротационные эмбеддинги дают это чувство эффективно: они не требуют лишних вычислений и хорошо работают с длинными текстами, поэтому стали стандартом для трансформеров.

Как это работает интуитивно? Представьте вектор слова как стрелку на циферблате. Чем дальше слово от начала, тем сильнее повёрнута стрелка. Сам смысл при этом не теряется — поворот меняет лишь «адрес» позиции. Соседние слова получают близкие углы, а далёкие — расходящиеся, поэтому модель легко различает порядок.

Прикладной пример: при переводе длинного технического документа ротационные кодировки помогают не перепутать подлежащее и дополнение во фразах вроде «компания купила завод у поставщика», где смена мест слов полностью меняет смысл.

Вывод: Rotary Position Embedding — элегантный геометрический трюк, который сообщает нейросети порядок слов, поворачивая их векторы на нужный угол. Без него современные чат-боты путались бы в простейших перестановках.