Leaky ReLU

Leaky ReLU — это функция активации в нейросетях, которая пропускает отрицательные значения, но ослабляет их небольшим коэффициентом. В отличие от обычного ReLU, который зануляет всё отрицательное, Leaky ReLU сохраняет крошечный сигнал, например 0.01 от входа. Это помогает избежать «умирающих нейронов» — ситуации, когда нейрон перестаёт обучаться, потому что его выход всегда ноль. Важность термина связана с тем, что в глубоких сетях на ReLU многие нейроны могут навсегда выключиться, и модель теряет способность учиться. Интуитивно Leaky ReLU работает как труба с небольшим зазором: вода (информация) течёт свободно при положительном давлении, а при отрицательном просачивается лишь тонкой струйкой, не давая трубе полностью пересохнуть. Прикладной пример: при распознавании изображений свёрточная сеть с Leaky ReLU быстрее сходится и меньше страдает от затухания градиентов на слоях с отрицательными активациями. Итог: Leaky ReLU — это простая модификация ReLU, которая сохраняет преимущества линейности для положительных значений и добавляет устойчивость для отрицательных, что делает обучение более надёжным.