MRR@10

MRR@10 — метрика, показывающая, насколько хорошо поиск или рекомендации умеют поднимать нужный ответ наверх. Расшифровка: Mean Reciprocal Rank at 10, то есть среднее обратное ранжирование по первым десяти позициям. Проще говоря, это ответ на вопрос: «Когда пользователь что-то ищет, как часто правильный результат попадает в первую десятку и насколько близко к началу списка он находится?»

Метрика важна из-за реального поведения людей. Большинство не листает дальше первой страницы, а на мобильных видно лишь несколько первых пунктов. Даже отличная система, показывающая верный ответ на одиннадцатом месте, бесполезна на практике — результат никто не заметит. MRR@10 фокусируется на этой критической зоне, помогая оценить не формальную полноту, а реальную способность попадать в десятку.

Считается метрика так. Для каждого запроса берётся первый правильный ответ в выдаче и его позиция. Первое место даёт 1, второе — 0,5, третье — 1/3, четвёртое — 1/4, и так до десятого, которое приносит 0,1. Если правильного ответа нет в первой десятке, вклад равен нулю. Затем значения по всем запросам складываются и делятся на их число. Получается средняя «близость к верхушке» для правильного ответа.

Пример: интернет-магазин электроники. Пользователь ищет «ноутбук с 32 гигабайтами памяти». Нужная модель на четвёртой позиции — вклад в MRR@10 равен 0,25. Если на другой запрос система угадала сразу и поставила товар первым — вклад 1. Если нужного нет в десятке — ноль. Усреднив по всем запросам за день, магазин видит, насколько комфортно покупателям находить нужное.

Итог: MRR@10 — простая и наглядная метрика, отражающая реальный пользовательский опыт, ведь она связана с тем, что человек видит на экране. Ограничение: учитывается только первый верный результат, другие полезные после него не поощряются. Тем не менее для быстрой оценки качества поиска, особенно когда целевой ответ один, MRR@10 остаётся удобным и широко применяемым инструментом.