Learning rate schedule

Обучение нейросети — как спуск с горы в тумане: шаги зависят от уклона, и так сеть приближается к минимуму ошибки. Размер шага называется learning rate (скорость обучения). Слишком большой шаг — риск перепрыгнуть нужное место и метаться по склонам; слишком маленький — ползти слишком медленно. Но рельеф не везде одинаков: на крутых участках шаг можно делать шире, у долины, где уклон сглаживается, — осторожнее. Именно это описывает learning rate schedule: план изменения шага по ходу обучения.

Без расписания современные модели сходятся медленно или не достигают хорошего результата. Сначала параметры далеки от идеала, крупные шаги помогают быстро уловить грубые закономерности. Когда сеть близка к оптимуму, большой шаг вызывает «дрожание» вокруг минимума. Расписание позволяет начать с широких шагов и постепенно уменьшать их, аккуратно «дожимая» точность.

Представьте сборку пазла ребёнком: сначала он разбрасывает детали широкими движениями, потом, когда остаются ключевые фрагменты, переходит к мелким и точным. Так и расписание: например, скорость 0,1, затем каждые несколько эпох уменьшение вдвое. Модель сначала насыщается общей структурой данных, потом уточняет детали.

В медицинской диагностике по снимкам первые эпохи сеть быстро учит базовые признаки — края, контуры, формы. Когда ошибка перестаёт падать, планировщик снижает скорость, и сеть различает тонкие аномалии. Результат — быстрое обучение и высокая точность, что критично для врачей.

Коротко: learning rate schedule — это искусство вовремя уменьшать шаг, превращая неуклюжий разбег в ювелирную настройку. Без этой простой идеи глубокое обучение было бы куда менее эффективным.