Lion optimizer

Lion (EvoLved Sign Momentum) — оптимизатор для нейросетей, представленный Google в 2023 году. В отличие от Adam, который адаптирует шаг для каждого веса, Lion обновляет параметры только по знаку комбинации импульса и градиента. Каждый вес сдвигается на фиксированную величину в ту или иную сторону, а глобальная амплитуда задаётся вручную.

Это важно для больших моделей: оптимизатор влияет на скорость сходимости и качество. Lion требует вдвое меньше памяти, чем Adam (не хранит вторые моменты), и часто даёт лучшее обобщение — модель точнее работает на новых данных.

Интуиция: Adam — турист, оценивающий крутизну склона и меняющий длину шага. Lion — решительный хищник, который движется в направлении импульса, не оглядываясь на рельеф. Иногда он пропускает мелкие впадины, но быстрее находит широкие долины с низкой ошибкой. Этот грубый стиль найден автоматическим символьным поиском и дал неожиданно сильный эффект.

На практике при обучении Vision Transformer на ImageNet замена Adam на Lion повысила точность при том же бюджете вычислений и памяти. Lion также обгонял улучшенные версии Adam в задачах классификации изображений и текста, особенно на больших батчах.

Вывод: простота может быть эффективной. Минималистичный алгоритм, найденный машиной, стал сильным конкурентом признанных методов. Но Lion требует аккуратной настройки глобального шага и нормы весов — это не волшебная кнопка, а мощный инструмент.