Перплексия

Перплексия, или «недоумение», — это метрика, показывающая, насколько хорошо языковая модель предсказывает следующий элемент текста. На практике её проще понимать как «степень удивления» модели каждым новым словом: чем меньше перплексия, тем увереннее модель строит прогноз.

Эта метрика важна для обучения и сравнения нейросетей. Без неё трудно объективно оценить прогресс: одна модель пишет красиво, но с ошибками, другая — сухо, но точно. Перплексия превращает это ощущение в число и используется как функция потерь при обучении.

Как это работает интуитивно? Представьте, что вы читаете книгу и после каждого слова угадываете следующее. Если контекст понятен, вариантов мало, и вы почти не удивляетесь. В сложном тексте возможных продолжений десятки. Перплексия — это среднее число таких равновероятных вариантов. Значение 50 означает, что модель выбирает из полусотни слов, а 5 — что она почти однозначно знает продолжение.

Прикладной пример: в автодополнении смартфона перплексия напрямую влияет на качество подсказок. Если разработчики снизили этот показатель с 30 до 10, модель стала в три раза реже ошибаться в следующем слове. Пользователь реже поправляет текст.

Итак, перплексия — простой индикатор качества языковых моделей. Она не заменяет ручную оценку смысла, но даёт быстрый сигнал о понимании языка. Снижение перплексии обычно ведёт к более осмысленным ответам, поэтому она остаётся стандартом в исследованиях и разработках.