Gradient noise scale

Gradient noise scale — это отношение случайного шума в оценке градиента к величине самого градиента. Нейросети обучают на мини-батчах, поэтому направление обновления весов всегда немного неточно. Этот показатель позволяет понять, насколько велика эта неточность.

Зачем это знать? Если шум большой, увеличение батча даёт заметное ускорение: больше примеров за шаг, точнее градиент. Если шум мал, рост батча не помогает, а только тратит видеопамять и время. Многие инженеры выбирают размер батча наугад, что приводит к лишним расходам.

Интуиция такая. Вы ищете спуск с горы в тумане. Истинный градиент — это реальный уклон под ногами, а шум — дрожание компаса или неуверенность шагов. Если компас дрожит сильно, вы идёте хаотично; лучше собрать группу и усреднить их показания. Так вы получите более надёжное направление. В оптимизации эта группа — батч. Чем он больше, тем меньше шум, но каждый шаг дороже. Поэтому важно знать, насколько сильно дрожит компас: если слабо, группа лишняя — вы и сами видите, куда идти.

Пример. Команда обучает языковую модель и измеряет gradient noise scale. Показатель оказывается низким, значит мини-батча из 32 примеров хватает. Инженеры уменьшают батч с 128 до 32, качество не падает, а обучение становится в несколько раз дешевле.

Вывод. Gradient noise scale — простой и практичный ориентир: он подсказывает, когда увеличить батч разумно, а когда — расточительно. Умение оценить его экономит ресурсы и ускоряет эксперименты.