Calibration of ranker

Калибровка ранжира — это настройка модели сортировки, чтобы её оценки отражали реальную вероятность пользы объекта. Модель учится не просто ставить хорошее выше плохого, но и правильно оценивать уверенность: разница в баллах должна соответствовать разнице шансов на успех.

Без калибровки система может верно упорядочивать результаты, но завышать или занижать абсолютные значения. Это критично, когда оценки используются другими системами: для подборок, цены клика, смешивания источников. Искажённая вероятность ведёт к неоптимальным решениям.

Интуитивно это настройка прибора. Если есть шкала «горячо‑холодно», для сортировки достаточно порядка. Но чтобы решить, согреет ли предмет чай, нужны точные градусы. Калибровка преобразует сырые баллы (например, логистической регрессией) в вероятности, соответствующие реальной частоте кликов или покупок.

Пример: поиск по магазину. Модель ранжирует «беспроводные наушники». До калибровки топ получает 0.9, десятый — 0.8, хотя первый покупают втрое чаще. После калибровки модель скажет: вероятность покупки первого 60%, десятого — 20%. Тогда система рекомендаций честно решит, что показывать на баннере, а для чего снизить цену.

Калибровка — мост между внутренним языком модели и реальным миром. Она не меняет порядок, но делает оценки честными, позволяя принимать точные решения.