Softplus

Зачем нужна? В глубоком обучении часто требуются неотрицательные выходы, например при предсказании цен. У ReLU острый излом в нуле — производная терпит разрыв, что может мешать оптимизации. У softplus производная — непрерывная сигмоида, всюду определённая. Обучение становится более гладким, особенно в методах, чувствительных к кривизне.

Интуиция: при большом положительном входе e^x огромно, единица несущественна, и результат почти равен x — сигнал просто проходит. При большом отрицательном входе e^x близко к нулю, log(1+0)=0 — выход почти ноль. В переходной зоне вокруг нуля вместо скачка — плавное «сгибание», позволяющее сети мягко активировать нейрон.

Пример: в машинном переводе softplus применяется в слоях внимания, чтобы превращать логиты в положительные веса. Жёсткая функция могла бы резко обнулять важные веса и терять контекст. Мягкий порог сохраняет тонкие зависимости между словами, обучение стабильнее.

Коротко: softplus — «терапевтическая» альтернатива ReLU. Она не даёт резких обрывов, сохраняет положительность и проста в вычислениях. В современных архитектурах её используют реже, но там, где нужна гладкость и непрерывность производных, она незаменима. Малое математическое изменение способно заметно улучшить поведение сложной системы.