Log-loss

Логарифмическая потеря, или Log-loss, — это метрика качества, которая измеряет, насколько уверенно и точно модель машинного обучения предсказывает вероятности событий. Проще говоря, она штрафует алгоритм не только за неверный ответ, но и за неуверенность, показывая, насколько сильно предсказанная вероятность разошлась с реальным исходом.

Этот показатель незаменим в задачах бинарной классификации, где нужно предсказать не просто «да» или «нет», а вероятность, например, кликнет ли пользователь по рекламе или наступит ли дефолт по кредиту. В отличие от простой точности, Log-loss учитывает, насколько модель была близка к истине, что позволяет отличить блестящего специалиста, который сомневается в сложных случаях, от новичка, гадающего наугад.

Интуитивно это работает как штраф за удивление. Если модель заявила, что вероятность события — 99%, а событие не произошло, штраф будет огромным. Если же модель дала 60%, а событие произошло, наказание будет мягким. Формула использует натуральный логарифм: за идеальный прогноз (вероятность 100% для верного события) лосс равен нулю, а за уверенную ошибку стремится к бесконечности. Задача обучения — минимизировать средний штраф по всем примерам.

Представьте банк, который прогнозирует возврат кредита. Если бы модель просто говорила «вернёт» или «не вернёт», она потеряла бы информацию о степени риска. Используя Log-loss, банк видит, что для одного клиента вероятность просрочки — 80%, а для другого — 5%. Это позволяет дифференцировать процентные ставки и резервы, максимизируя прибыль и снижая убытки, ведь главное для банка — не угадать всех должников, а правильно оценить риск каждого.

Итак, Log-loss — это компас в мире неопределённости. Он оценивает качество вероятностных прогнозов, превращая «сырые» догадки в измеримые значения. Высокий лосс сигнализирует: модель плывёт по течению, низкий — она понимает суть процессов.