L2-регуляризация

L2-регуляризация — это приём в машинном обучении, который добавляет к ошибке модели наказание за слишком большие веса. Если обычный алгоритм просто подгоняет коэффициенты под данные, то L2-регуляризация заставляет их оставаться небольшими. Формально она прибавляет к функции потерь сумму квадратов всех весов, поэтому модель платит двойную цену за чрезмерные значения.

Это важно, потому что модели с большими весами часто переобучаются. Они запоминают не только полезные закономерности, но и случайные шумы в обучающей выборке. L2-регуляризация уменьшает разброс весов, сглаживает границы принятия решений и помогает модели лучше обобщать. Без неё многие современные алгоритмы были бы бесполезны.

Представьте, что вы учите человека метать стрелки. Если дать ему полную свободу, он может попытаться компенсировать неточность слишком сильными бросками — и промажется. Ограничение силы (штраф за квадрат весов) заставляет его бросать аккуратнее. Модель становится менее «дерзкой» на тренировке, зато показывает стабильные результаты на практике.

Допустим, нужно предсказать цену квартиры. Без регуляризации модель может придать огромный вес редкому признаку «этаж равен 13» и начать странно менять цену. L2-регуляризация мягко уменьшает такой вес, вынуждая алгоритм опираться на действительно важные факторы: площадь, год постройки, близость к метро. Итоговый прогноз становится надёжнее и понятнее.

Итак, L2-регуляризация — это простой и мощный инструмент для борьбы с переобучением. Она не решает все проблемы, но делает модели устойчивее, а их предсказания — заслуживающими доверия.