One-cycle policy

One-cycle policy — метод обучения нейросетей, при котором скорость обучения сначала плавно растёт, затем симметрично убывает до почти нуля за один цикл. Вместо постоянного или монотонно падающего темпа модель за один проход проходит путь от низкой скорости к высокой и обратно. Это похоже на разгон и торможение автомобиля: сначала быстрое исследование пространства решений, затем аккуратная подстройка весов.

Зачем нужно? Темп обучения — главный источник проблем в глубоком обучении. Низкий темп — медленное обучение и застревание; высокий — перескакивание оптимума и расхождение. One-cycle policy решает дилемму, сочетая скорость для выхода из плоских областей и осторожность для финальной точной настройки. Это часто даёт ту же точность за меньшее число эпох или лучший результат, чем ручной подбор расписания.

Интуиция — тренировка спортсмена: разминка на низкой скорости, пик интенсивности в середине цикла, затем заминка. Большие шаги в середине помогают перепрыгнуть плохие локальные минимумы и найти широкую «долину» ошибок; маленькие шаги в конце — опуститься на дно, не выскакивая.

Пример: обучаете свёрточную сеть на рентгеновских снимках. Вместо классического снижения в 10 раз каждые 20 эпох применяете one-cycle policy на 40 эпохах, максимальную скорость подбираете один раз (например, 0,01). Сеть быстро схватывает паттерны, веса стабилизируются, и тестовая точность такая же, как при вдвое большем числе эпох — экономия времени и ресурсов.

Вывод: one-cycle policy — практичный инструмент, выжимающий максимум из каждой эпохи. Требует небольших настроек, но даёт ускорение, устойчивость и лучшую сходимость. Если не хотите вручную придумывать графики темпа — надёжный выбор.