Sharpness-Aware Minimization

Sharpness-Aware Minimization (SAM) — метод обучения нейросетей, который ищет не просто минимум ошибки, а плоскую область вокруг него, где функция потерь остаётся низкой при небольших изменениях весов. Вместо «самой глубокой ямы» SAM выбирает широкое плато, с которого сложно сорваться в неудачное состояние.

Классическое обучение часто приводит к острым минимумам: модель идеально запоминает данные, но при малейшем отклонении параметров начинает ошибаться. Такие модели плохо обобщаются на новые примеры. SAM делает обучение устойчивым: если обычный метод ведёт в самую низкую точку долины, то SAM — на ровную площадку рядом, что даёт лучшую производительность без переобучения.

Интуитивно работа SAM состоит из двух шагов. Сначала алгоритм вычисляет, как изменится ошибка, если слегка толкнуть веса в «худшую» сторону — туда, где потеря растёт сильнее всего (шаг возмущения). Затем он обновляет веса так, чтобы уменьшить ошибку именно в этой неблагоприятной точке. Модель учится хорошо справляться с текущими данными и не бояться небольших изменений, выходя из узких впадин на пологие склоны.

Пример: нейросеть распознаёт опухоли на рентгеновских снимках. Медицинские данные часто малы, и модель легко подстраивается под шум конкретных изображений. Обычный метод может дать почти идеальную точность на тренировочных снимках, но пропустить опухоль на новом. SAM заставляет искать такие веса, при которых ошибка остаётся низкой даже при небольших искажениях (яркость, смещение), что повышает надёжность диагностики.

Кратко: SAM — простое дополнение к стандартному обучению, меняющее лишь расчёт шага добавлением оценки «худшего случая». Это бесплатный способ улучшить обобщающую способность и стабильность модели без усложнения архитектуры.