Activation function

Функция активации — правило, по которому нейрон решает, передать ли сигнал дальше и насколько сильным его сделать. Нейрон суммирует взвешенные входы, а функция превращает эту сумму в ответ — например, «да/нет» или вероятность. Без неё сеть осталась бы набором линейных преобразований: сколько слоёв ни добавляй, результат остался бы линейной комбинацией входов. Такая сеть не смогла бы выучить даже простые нелинейные закономерности вроде разделения точек, перемешанных по окружности. Именно нелинейность, которую вносит функция активации, позволяет строить сложные границы решений и моделировать почти любые зависимости.

Представьте нейрон как сотрудника, читающего сводку чисел. Функция активации — его регламент реакции. Старая ступенчатая функция работала как тумблер: сумма выше порога — нейрон «кричит» единицу, ниже — «молчит». Современные функции работают плавно. Сигмоида выдаёт число от нуля до единицы, словно плавный поворот ручки громкости. Популярная ReLU возвращает максимум из нуля и входного значения: положительный сигнал усиливается, отрицательный обрезается. Это даёт разреженные сигналы — многие нейроны молчат, а активные чётко выделяют важное.

Классический пример — распознавание рукописных цифр. Свёрточная сеть после каждого слоя применяет ReLU. Без неё она не отличила бы шестёрку от девятки: изгибы требуют нелинейных форм. ReLU помогает нейронам, настроенным на линии и углы, обнулять лишнее и пропускать решающие признаки. В итоге сеть видит не пиксели, а набор характерных черт.

Функция активации — катализатор обучения. Она превращает бесполезную линейную модель в живой обучающийся механизм. Выбор функции влияет на скорость сходимости и точность: одна и та же сеть с разными функциями работает кардинально по-разному. Это не деталь, а неотъемлемый элемент архитектуры любого современного ИИ.