He initialization

He инициализация (инициализация Хе) — это способ задания начальных значений весов нейронной сети, предложенный Каем Хе в 2015 году. Вместо случайных чисел из простого распределения она использует нормальное (гауссово) распределение с дисперсией, которая зависит от количества нейронов в предыдущем слое: два делить на это число. Зачем это важно: если веса заданы неудачно, при обучении глубокой сети градиенты либо затухают до нуля на ранних слоях, либо взрываются до гигантских значений, и сеть не учится вовсе. He инициализация специально решает эту проблему для сетей с ReLU-активациями — самым популярным типом нейронов в современном глубоком обучении. Как это работает на интуитивном уровне: представьте, что сигнал проходит через цепочку слоёв. Если веса слишком большие, сигнал усиливается с каждым слоем до безумия; если слишком маленькие — тихо затухает. He инициализация подбирает разброс весов так, чтобы дисперсия сигнала оставалась примерно одинаковой на каждом слое. Поскольку ReLU обнуляет половину значений, дисперсию делят на два, компенсируя потери и сохраняя стабильный поток сигнала. Прикладной пример: в свёрточной сети для распознавания изображений с пятьюдесятью слоями без He инициализации градиенты на ранних слоях становятся нулевыми, и обучение останавливается уже на первых эпохах. С He инициализацией та же сеть стабильно обучается даже со ста и более слоями, показывая лучшую точность на тесте ImageNet. Итог: He инициализация — простой, изящный и надёжный приём, который стал стандартом де-факто для любых глубоких архитектур, использующих ReLU.