Регуляризованная цель

Если у модели лишь одна цель — идеальная точность на обучающих данных, она часто идёт по пути наименьшего сопротивления: вместо выявления закономерности просто зазубривает примеры вместе с шумом и случайными совпадениями. Это переобучение: сеть блестяще работает на знакомых данных, но теряется на новых. Регуляризация не даёт зубрить и заставляет искать более простые, обобщающие правила.

Интуитивная аналогия: экзамен по истории. Можно вызубрить ответы и сдать тест, не поняв предмета. Если бы стояла установка «отвечай правильно, но своими словами», пришлось бы разобраться в причинно-следственных связях. В машинном обучении роль «своими словами» играет штраф за большие значения весов, которые обычно означают слишком закрученные зависимости.

Прикладной пример — распознавание лиц. Без регуляризации сеть запоминает конкретные пиксели фотографий из базы. С регуляризованной целью она выделяет общие черты, устойчивые к освещению и ракурсу, «понимает» лицо, а не воспринимает его как уникальную картинку. Поэтому система правильно сработает при повороте головы или лёгкой тени.

Короче, регуляризованная цель — это встроенный механизм самодисциплины для нейросети, баланс между точностью и простотой. Именно она позволяет ИИ быть умным, а не просто скрупулёзным.