ELU

Зачем это нужно? Классическая ReLU зануляет все отрицательные сигналы, из-за чего сеть может «умереть»: градиенты исчезают, и обучение прекращается. ELU сохраняет небольшие отрицательные значения, позволяя информации течь даже при слабых или отрицательных входах. Это делает обучение стабильнее и быстрее, особенно в глубоких сетях.

Интуитивно ELU похожа на амортизатор: сильный положительный сигнал проходит без изменений, а слабый — мягко притормаживается, оставляя «хвостик» информации, который помогает не терять контекст. Формула: для x > 0 результат равен x, для x ≤ 0 — alpha * (exp(x) - 1), где alpha — небольшое число, например 1.

Пример: при распознавании речи тишина и шум дают отрицательные значения. ReLU их обнулит, и сеть потеряет фоновую информацию. С ELU тишина превращается в плавный отрицательный сигнал, который интерпретируется как «звука нет, но предыстория важна». Это помогает в системах с длинными последовательностями, например в голосовых помощниках.

Коротко: ELU — компромисс между простотой и устойчивостью. Она избегает затухания градиентов, сохраняя вычислительную эффективность, хотя требует чуть больше расчётов, чем простые функции.