MAP ranking
Зачем эта метрика важна? В реальной жизни никто не листает сотни страниц выдачи. Пользователь хочет получить ответ сразу или после пары кликов. Если система ставит хорошие документы ниже, чем плохие, ее считают бесполезной, даже если она формально находит все необходимое. MAP позволяет разработчикам сравнивать между собой разные алгоритмы и понимать, какой из них дает более удобный порядок выдачи.
Интуитивно механизм работы выглядит так. Для каждого поискового запроса строится список результатов. Идем по нему сверху вниз и отмечаем, где встречаются полезные документы. После каждого полезного документа считаем точность — долю релевантных среди всех выданных к этому моменту. Эти доли усредняем, а затем усредняем по всем запросам. Так и получается MAP. Система, которая ставит нужное на первое место, получает высокий балл, а та, что закапывает полезное глубоко, — низкий.
Прикладной пример — корпоративный поиск по документации. Представьте инженера, который ищет регламент запуска оборудования. Если в выдаче точный документ оказался на втором месте, это уже хорошо. А если на восьмом — придется потратить время. MAP позволит команде разработчиков увидеть: в среднем по всем запросам пользователи доходят до нужных файлов быстро или вынуждены фильтровать мусор.
Вывод простой. MAP ranking — это не абстрактная математика, а способ сделать жизнь людей легче. Он превращает разрозненные результаты в аккуратный, нужный порядок. Поэтому, когда говорят о качестве поиска, обычно имеют в виду именно эту метрику. Она помогает отличать удобные системы от тех, которые просто выполняют поиск.
Поделиться