Exact Match@k

Exact Match@k — это метрика, которая показывает, насколько часто правильный ответ попадает в первую k позиций списка, выданного алгоритмом. Проще говоря, если вы попросили поисковик найти нужный документ, а он появился в первой десятке результатов, то для k=10 это успех. Если же нужный ответ оказался на одиннадцатом месте — провал, даже если он всего на одну позицию ниже.

Важность этой метрики в том, что она измеряет реальное поведение пользователя: почти никто не листает сотни страниц выдачи. Для бизнеса это прямое отражение качества: чем выше Exact Match@k, тем быстрее людей находит товар, статью или ответ, тем меньше разочарования и отказов. Это простой и наглядный критерий, который легко сравнить между разными версиями модели.

Как это работает интуитивно? Представьте экзамен: у вас есть список ответов, упорядоченных моделью от «самого вероятного» к «наименее вероятному». Метрика берёт первые k элементов этого списка и проверяет, есть ли среди них «идеально правильный» — единственный, который засчитан. Важно, что не учитывается, на каком именно из первых k мест он стоит: первое или шестое — для метрики не имеет значения. Только факт присутствия в разрешённой зоне.

Прикладной пример: поиск лекарств в медицинской базе. Врач вводит запрос «препарат от головной боли при беременности». Система выдаёт список из 5 рекомендаций (k=5). Если нужный препарат есть в этом списке, Exact Match@5 для запроса равен 1, если нет — 0. Затем все нули и единицы усредняют по сотням тестовых запросов, получая общий балл системы. Так сравнивают, например, старую и новую версию поисковика.

Короткий вывод: Exact Match@k — это простая и суровая метрика: правильно либо попало в верх списка, либо нет. Она не прощает «почти угадал», зато отлично показывает практическую пользу алгоритма для конечного пользователя.