BERTScore

BERTScore — метрика качества сгенерированного текста, использующая нейросеть BERT для оценки смысловой близости. Она сравнивает не точное совпадение слов, а их векторные представления: написанное своими словами предложение, передающее ту же мысль, получит высокий балл, даже без общих слов с эталоном.

Классические метрики вроде BLEU штрафуют синонимы и перестановки, из‑за чего хорошие модели получают низкие оценки, а дословные повторения — завышенные. BERTScore решает эту проблему, оценивая глубинный смысл, что важно для диалоговых систем, пересказа и нейроперевода.

Как это работает: каждое слово превращается в числовой вектор — точку в пространстве, где близкие по смыслу слова находятся рядом. Метрика сопоставляет слова ответа и эталона, ищет ближайших соседей и вычисляет косинусное сходство. Из этого получаются три показателя: полнота (весь ли смысл эталона передан), точность (нет ли лишнего) и F‑мера — их гармоническое среднее.

Пример: эталон «Кот сидел на подоконнике и внимательно наблюдал за птицей», а ответ «Усатый питомец следил с окна за воробьём». BERTScore поставит высокий балл, так как векторы слов близки, тогда как BLEU покажет почти ноль.

Итог: BERTScore оценивает содержание, а не форму, что ближе к человеческому восприятию текста и упрощает проверку качества языковых моделей.