Brier score

Метрика важна, потому что в реальности недостаточно сказать просто «будет» или «не будет»: специалисту нужна уверенность. Например, если врач прогнозирует «риск осложнений 80%», а они не наступают — это серьёзная ошибка. Обычная точность считает прогноз верным при вероятности выше 50%, а Brier score наказывает и за неверную уверенность. Поэтому он ценен в метеорологии, медицине и финансах.

Интуитивно: модель предсказала дождь с вероятностью 0,7, а дождя не было (факт 0). Ошибка: (0,7 − 0)² = 0,49. При прогнозе 0,5 ошибка была бы 0,25. А если бы дождь пошёл, ошибка при 0,7 составила бы 0,09. Все квадратичные ошибки складываются и усредняются. Такой подход штрафует не только за неверный исход, но и за самоуверенность: лучше честно сказать «50 на 50», чем уверенно ошибиться.

Пример: метеоролог сравнивает две модели. Одна часто выдаёт экстремальные вероятности — 0,95 или 0,05, вторая почти всегда 0,5. Если первая права в девяти случаях из десяти, её Brier score будет ниже, даже если обе правильно предсказывают большинство дней. Это показывает, какая модель лучше оценивает неопределённость.

Итог: Brier score — простой и наглядный способ проверить, насколько модель понимает границы собственного знания. Он отличает «правдивый» прогноз от угадывания и полезен везде, где решения принимаются в условиях неопределённости.