Precision@k

Precision@k — это доля релевантных объектов среди первых k рекомендаций или ответов, которые выдала система. Проще говоря, если алгоритм показал десять результатов, а полезными оказались лишь семь, точность равна 0,7. Буква k означает размер верхушки списка, которую мы оцениваем: 10, 50, 100 — как удобно.

Зачем это важно? В поиске, рекомендациях, диалоговых ассистентах пользователь видит только начало списка. Пятьдесят верных ответов, спрятанных на десятой странице, бесполезны. Precision@k измеряет, насколько хорошо система угадала именно то, что человек увидит сразу. Это метрика качества первого впечатления, и от неё часто зависит, вернётся ли пользователь.

Как это работает на интуитивном уровне? Представьте рыбалку с сетью. Вы забрасываете сеть (это k) и вытаскиваете улов. Precision@k — это сколько нужной вам рыбы оказалось в сетке относительно всего улова. Если поймали пять окуней и три ботинка — точность 5/8. Чем меньше мусора среди первых k элементов, тем выше метрика. При этом не важно, сколько рыбы осталось в озере: смотрим только на то, что уже в руках.

Прикладной пример: интернет-магазин показывает на главной странице десять товаров. Три из них пользователь покупает или кликает, остальные игнорирует. Precision@10 = 0,3. Если после изменения алгоритма метрика вырастает до 0,5, значит, половина показанных товаров стала действительно интересной. Это напрямую влияет на выручку и удержание клиентов, поэтому метрику отслеживают постоянно.

Краткий вывод: Precision@k — простой и практичный показатель того, насколько хорошо система работает именно там, где с ней контактирует человек — в верхней части списка. Она не заменяет других метрик, но даёт быстрый и наглядный ответ на главный вопрос: полезно ли то, что видит пользователь первым.