Relative positional encoding

Относительное позиционное кодирование — это способ сообщить модели, как элементы последовательности расположены относительно друг друга, а не на абсолютных местах. Оно важно, потому что трансформеры изначально не видят порядок элементов. Без этой информации фразы «кот съел мышь» и «мышь съела кота» были бы неразличимы. Абсолютное кодирование привязывает слово к его номеру в предложении, но модель с трудом переносит знания на новые длины и перестановки. Относительное кодирование вместо этого описывает расстояния: «слово А через два слова после слова Б». Интуитивно это похоже на чтение: мы запоминаем, что прилагательное перед существительным, а не что оно было третьим в абзаце. Модель строит связи между элементами, используя смещения, поэтому лучше понимает смысл при изменении порядка слов. Практический пример: при переводе с русского на английский порядок слов часто меняется. Если модель полагается на абсолютные позиции, она пытается ставить английское слово на то же место, что и русское, что ведёт к ошибкам. А относительное кодирование позволяет сопоставить смысловые пары независимо от мест: подлежащее и сказуемое, прилагательное и существительное. В результате перевод получается более связным и естественным. Таким образом, относительное позиционное кодирование даёт ИИ гибкий способ видеть структуру последовательностей, ориентируясь на взаимное расположение, а не на абсолютные координаты.