Causal attention

Причинное внимание — механизм в нейросетях, который обрабатывает последовательности строго слева направо: текущий элемент видит только себя и предыдущие, но не будущие. Это отличает его от обычного внимания и отражает причинно-следственную связь: каждое новое слово вызывается только предыдущими.

На этом принципе построены почти все современные языковые модели, включая GPT. Без причинного внимания генерация текста превратилась бы в задачу «заполни пробел», но в реальности — в чате, переводчике или редакторе кода — будущие слова неизвестны. Модель обязана действовать по уже сказанному, как человек в разговоре. Поэтому причинное внимание — не техническая деталь, а фундамент пошагового создания информации.

Интуитивно это похоже на чтение романа: вы помните сюжет и героев, но не можете заглянуть на следующую страницу. Для каждого слова модель строит вектор внимания к себе и предыдущим, а будущие обнуляются специальной маской. Так нейросеть учится опираться только на доступный контекст, постепенно накапливая смысл.

Пример — автодополнение в мессенджере. Когда вы вводите «Я сегодня купил», модель предсказывает продолжения: «хлеб», «молоко» или «билеты». Она использует причинное внимание, потому что знает только первые три слова. Если бы конец сообщения был известен, подсказка потеряла бы смысл.

Итог: причинное внимание учит нейросеть уважать порядок времени в данных. Оно повсеместно используется в генеративных моделях, обеспечивая естественность и логичность текста. Благодаря этому механизму ИИ общается с нами не как классификатор, а как собеседник, который действительно «думает», что сказать дальше.