Cross-attention

Cross-attention — это механизм в архитектуре нейросетей, который позволяет одной последовательности данных «обращаться» к другой последовательности, извлекая из неё нужную информацию. В отличие от обычного self-attention, где элементы сравниваются внутри одного набора, cross-attention связывает два разных набора, например текст и изображение.

Зачем это важно? Без cross-attention современные мультимодальные модели не смогли бы связывать разные типы данных. Именно он лежит в основе систем, которые по описанию рисуют картинки, отвечают на вопросы по фотографиям или переводят речь в текст с учётом контекста. Это мост между миром слов и миром пикселей, звуков или видео.

Как это работает интуитивно? Представьте, что у вас есть два стола: на одном лежат карточки-запросы (например, токены текста «кот», «сидит», «на окне»), а на другом — карточки-ключей и значений (фрагменты изображения). Механизм для каждого слова смотрит на все фрагменты картинки, оценивает, насколько они соответствуют слову, и «смешивает» те, что подходят. Слово «кот» притянет пиксели, где есть усы и уши, а «окно» — рамку и стекло. Результат — выровненное представление, где текст и изображение синхронизированы.

Пример: возьмём модель, которая создаёт изображение по запросу «красный дракон на снегу». На каждом шаге генерации cross-attention берёт вектор текста и «подсвечивает» те области картинки, которые должны быть красными, чешуйчатыми или снежными. Благодаря этому модель не рисует дракона на пустыне, а точно расставляет элементы. Без cross-attention она бы просто генерировала случайные картинки, игнорируя слова.

Вывод: cross-attention — главный инструмент для соединения разных типов информации. Он позволяет моделям «видеть» текст и «читать» картинки, делая искусственный интеллект по-настоящему мультимодальным.