Learning rate

От него напрямую зависит, обучится ли модель. Слишком маленькая скорость дает прогресс, но настолько медленный, что результата не достичь за разумное время. Слишком большая заставляет модель «прыгать» через точку оптимума, и ошибки начинают хаотично скакать. Правильное значение — баланс между скоростью и точностью.

Интуитивно это похоже на спуск с горы в тумане: вы видите лишь небольшой участок склона, а шаг — learning rate. Мелкие шаги надежны, но спуск займет весь день. Широкие шаги быстры, но можно проскочить ровное место и снова полезть вверх. Нейросеть действует так же: вычисляет направление, а скорость решает, насколько далеко сдвинуться.

На практике, например в распознавании лиц, параметр часто меняют динамически. Сначала модель делает крупные шаги, улавливая грубые черты (форму лица), затем скорость снижают в десятки раз, чтобы точно настроить детали — разрез глаз, изгиб губ. Такая двухстадийная стратегия дает высокую точность без лишних затрат времени.

Вывод: learning rate — это одновременно руль и газ. От его величины зависит, доедет алгоритм до цели, забуксует или разобьется. Это первый параметр, который проверяют при странном поведении модели, и одно из мощнейших средств управления обучением.