CLIPScore

CLIPScore — это метрика для оценки того, насколько хорошо подпись описывает изображение. Она основана на модели CLIP, которая понимает смысл и картинок, и текста одновременно. Вместо сравнения с эталоном она напрямую сопоставляет подпись и фото, поэтому не зависит от ручных описаний.

Чем это важно? Традиционные метрики вроде BLEU требовали заранее написанных эталонов и штрафовали синонимы, считая их ошибкой. Это делало оценку неточной и дорогой. CLIPScore работает без эталона и улавливает смысловую близость, поэтому его оценки лучше согласуются с человеческим восприятием.

Как это устроено? CLIP обучается превращать картинки и их описания в векторы одного пространства. Эти векторы устроены так, что близкие по смыслу изображения и слова лежат рядом. Совпадение смысла означает, что вектор подписи почти совпадает по направлению с вектором изображения. Для подсчёта берут вектор фото и вектор подписи, а затем вычисляют косинусное сходство — угол между ними. Чем угол меньше, тем точнее подпись.

Пример: фото собаки, бегущей по парку. Подписи «Пёс играет на газоне» и «Щенок резвится на лужайке» получат близкие высокие баллы, хотя слова разные. Векторы этих фраз близки к вектору картинки. BLEU же выбрал бы только ту, что совпадает с эталоном, игнорируя синонимы. CLIPScore же правильно оценит обе.

Вывод: CLIPScore полезен для создания систем автоматического описания картинок, субтитров и помощи слабовидящим людям. Такие метрики важны для развития компьютерного зрения.