Dead ReLU

Мёртвый ReLU — состояние нейрона, когда он навсегда выдаёт ноль на любом входе и перестаёт обучаться. Так происходит из-за функции активации ReLU: положительные числа проходят, отрицательные превращаются в ноль. Если вес нейрона уходит глубоко в минус, его выход всегда ноль, градиент тоже ноль, и обратное распространение ошибки не может изменить веса — нейрон формально жив, но бесполезен.

Это важно, потому что современные сети состоят из миллионов нейронов. Массовая гибель ReLU ведёт к недообучению: сеть упрощается и хуже распознаёт лица, текст и другие сложные закономерности. Причём проблема тихая: ошибка на валидации растёт, а причина долго неясна.

Интуитивно нейрон похож на охранника, пропускающего только положительные сигналы. Если он получает слишком сильный отрицательный стимул, он перестаёт пропускать всё. Но в отличие от человека, «передумать» он не может: производная ReLU в отрицательной зоне равна нулю, поэтому сигнал ошибки просто не доходит до нейрона, и он навсегда остаётся в этом состоянии.

Пример: сеть предсказывает цену квартиры по фото. На первых слоях ReLU-нейроны ищут края и углы. Если часть из них умирает из-за плохой инициализации или высокой скорости обучения, сеть перестаёт видеть диагональные линии и путает балкон с окном. Инженер замечает ухудшение метрики, но решается проблема просто: заменой активации на Leaky ReLU или уменьшением шага обучения.

Вывод: мёртвый ReLU — не баг, а математическое следствие свойств функции активации. Он напоминает, что простые элементы сети требуют тщательной настройки, и помогает вовремя замечать проблему, выбирая правильные инструменты, чтобы сеть оставалась обучаемой.