Group Normalization

Group Normalization (GN) — техника нормализации активаций нейросети: данные выравниваются не по всему батчу, а по группам каналов внутри одного примера. Проще говоря, это «причесывает» внутренние распределения, не давая им разъехаться по масштабам, что ускоряет обучение и повышает стабильность.

Проблема Batch Normalization (BN) в том, что она считает статистики по всем объектам мини-батча. При малом батче (например, одна картинка высокого разрешения) статистики становятся шумными, и обучение ухудшается. GN работает с одним объектом и вообще не зависит от размера батча, поэтому незаменима для сегментации изображений, 3D-обработки и видео, где большие батчи недоступны.

Механика: карта признаков имеет, скажем, 64 канала. Их разбивают на группы, например 8 групп по 8 каналов. Внутри каждой группы считаются среднее и дисперсия; затем все значения нормализуются к нулевому среднему и единичной дисперсии. После этого применяются два обучаемых параметра — масштаб и сдвиг, чтобы сеть могла откатить нормализацию, если это нужно. Ключевой момент: учитывается только текущий пример, а не вся пачка.

Прикладной случай: в автономном вождении кадры с камеры/лидара поступают последовательно, поэтому батч равен одному кадру. Модель сегментации дорожной сцены с GN обучается стабильно даже на одном GPU, а без этого метода пришлось бы жертвовать точностью или использовать обходные пути.

Итог: GN — гибкий и надёжный способ нормализации, не привязанный к размеру батча. Это простой и практичный выбор для задач, где данные приходят по одному или малыми группами.