Absolute positional encoding

Absolute positional encoding — приём, который помогает нейросетям понимать порядок слов или любых элементов последовательности. Каждому элементу на входе добавляется числовой код, указывающий его место: первый, второй, десятый. Код смешивается с данными до обработки, поэтому модель видит и содержание, и позицию одновременно.

Зачем это нужно? Трансформеры читают все слова сразу, а не последовательно, как человек. Это ускоряет работу, но лишает чувства порядка. Если убрать коды, «собака укусила человека» неотличима от «человек укусил собаку». Коды позиций возвращают понимание последовательности.

Как это работает? Каждому слову выдаётся табличка с номером места, но особым образом — чтобы номер легко складывался со словом. Классический вариант — волны разной частоты: позиция 2 получает два коротких колебания, позиция 3 — три длинных. Модель видит комбинацию слова и волны и вычисляет расстояние между любыми словами.

Пример: переводя «The cat sat on the mat», модель должна помнить, что «cat» — подлежащее, а «mat» — место. Без позиционных кодов слова были бы перемешаны, и русский порядок не собрать. С кодами она отмечает: «cat» на втором месте, «mat» на шестом — и строит грамматику.

Итог: absolute positional encoding — простой элегантный механизм, дающий параллельным моделям чувство порядка. Он не делает сеть умнее, но позволяет использовать структуру языка, понимать смысл и генерировать осмысленные ответы. Без него ИИ слеп к последовательности, с ним — читает и пишет почти как человек.