Huber loss

Huber loss — функция потерь, измеряющая ошибку модели смешанным способом: для небольших отклонений она работает как среднеквадратичная ошибка, а для больших — как средняя абсолютная. Пограничное значение задаётся параметром дельта. Важность термина связана с выбросами в реальных данных. Классическая квадратичная ошибка сильно штрафует за большие отклонения, поэтому из-за одного аномального наблюдения модель искажается. Huber loss компенсирует это, сочетая гладкость для типичных случаев и устойчивость к экстремумам.

Интуиция: представьте, что вы оцениваете дальнобойность стрелка. При промахе на сантиметр квадратный штраф заставляет тренироваться. Но при промахе на километр квадрат даст абсурдное число, которое перекроет все успехи. Тогда разумно перейти на линейный штраф: он признаёт крупную ошибку, но не даёт ей доминировать. Именно так Huber loss переключается в зависимости от величины отклонения.

Прикладной пример: прогноз цен на жильё. В выборке есть обычные квартиры и два экстремально дорогих пентхауса. С обычной квадратичной ошибкой модель занизит цены на нормальных квартирах, лишь бы уменьшить колоссальные ошибки на пентхаусах. Применяя Huber loss с разумной дельтой, модель игнорирует часть влияния выбросов и настраивается на большинство объектов, что даёт более точные прогнозы для типового жилья.

Итог: Huber loss — гибкий компромисс между чувствительностью к ошибкам и сопротивлением выбросам. Она не универсальна, но для регрессий с шумом или редкими аномалиями часто работает лучше других функций. Ключевой навык — выбрать дельту, соответствующую масштабу данных.