ViT

ViT, или Vision Transformer, — архитектура нейросети, которая понимает изображения так же, как трансформеры обрабатывают текст. Вместо сканирования окнами, как свёрточные сети, ViT разрезает картинку на квадратные фрагменты и сопоставляет их между собой, словно собирает смысл предложения из слов.

Это важно, потому что компьютерное зрение долго держалось на свёртках: они ловят локальные детали, но плохо видят глобальные связи. ViT показал: при достаточном объёме данных внимание позволяет увидеть взаимное расположение объектов на всей картинке сразу. Одна архитектура начинает работать и с текстом, и с изображениями, упрощая создание универсальных мультимодальных моделей.

Как это устроено? Представьте, что вы смотрите на фото через мозаичное стекло, но можете соединять кусочки в любом порядке. ViT превращает каждый фрагмент в числовой вектор, добавляет информацию о его позиции, а затем через слой внимания вычисляет, насколько каждый кусочек важен для остальных. Модель анализирует всё изображение сразу, а не движется по нему слева направо.

Практический пример — медицина. Врач рассматривает рентген лёгких целиком, замечая тени и их расположение относительно органов. Свёрточная сеть часто упускает такие связи, а ViT сопоставляет разные участки снимка одновременно, помогая выявлять ранние признаки заболеваний, например узелковые образования, которые не бросаются в глаза.

Коротко: ViT — шаг к единому пониманию визуальной и текстовой информации. Он требует больше данных и вычислений, чем свёртки, но открывает дорогу к целостному ИИ, который видит картину целиком, а не по частям.