Батч-нормализация

Батч-нормализация — это техника, которая стабилизирует и ускоряет обучение нейросетей за счёт нормализации внутренних представлений данных. Она решает проблему ковариативного сдвига: когда веса предыдущих слоёв меняются, распределение входов следующих слоёв скачет, замедляя сходимость. Без нормализации сети требуют осторожного подбора скорости обучения и инициализации; с ней эти настройки становятся менее критичны.

Представьте, что каждое число на выходе слоя похоже на голоса людей в хоре: кто-то шепчет, кто-то кричит. Батч-нормализация заставляет всех петь с одинаковой громкостью: сначала вычисляется среднее и стандартное отклонение по текущему мини-батчу, затем каждый сигнал центрируется и масштабируется. После этого нейросеть может добавить свои собственные сдвиг и масштаб — два обучаемых параметра, — чтобы сохранить нужную выразительность. Таким образом, следующий слой всегда получает данные в предсказуемом диапазоне.

В задачах классификации фотографий, например, у распознавания рукописных цифр, батч-нормализация позволяет модели сходиться в два-три раза быстрее. Допустим, один признак — яркость пикселя — имеет значения от 0 до 255, другой — текстурный — от -1 до 1. Без нормализации сеть вынуждена долго подстраивать веса под эти разнобойные шкалы, а с ней все признаки автоматически выравниваются.

В итоге батч-нормализация — это недорогой и эффективный гайд для обучения глубоких сетей: она улучшает сходимость, уменьшает переобучение и делает процесс более стабильным.