Skip connection

Пропускное соединение, или skip connection, — это приём в архитектуре нейросетей, когда сигнал с одного слоя передаётся не только следующему, но и напрямую в более дальний слой, минуя несколько промежуточных. Проще говоря, это своего рода «обходной путь» в глубине сети.

Зачем это нужно? Глубокие сети страдают от затухания градиента: при обучении ошибка распространяется назад, и к ранним слоям её «сигнал» становится почти нулевым. Сеть перестаёт учиться. Пропускные соединения дают градиенту короткую дорогу, позволяя информации течь без потерь. Это критично: именно они позволили строить действительно глубокие сети — сотни и тысячи слоёв, без чего немыслим современный ИИ.

Интуитивная аналогия — река с протоками. Основное русло проходит через все пороги и камни, но часть воды перебрасывается в обход, сохраняя поток. В нейросети слой, который «перепрыгнули», не блокирует информацию: вместо этого дальше складывается сумма исходного сигнала и результата преобразований. Сеть сама решает, насколько сильно «включать» каждый слой — если он не полезен, сигнал пойдёт в обход, и обучение не пострадает.

Самый известный пример — архитектура ResNet, оставшаяся победителем конкурса ImageNet в 2015 году. В ней пропускные соединения соединяют блоки из двух-трёх свёрточных слоёв. Благодаря этому сеть из 152 слоёв обучилась стабильно, хотя ранее сети с такой глубиной были неработоспособны. После ResNet skip connection стали стандартом де-факто — их используют почти все современные модели, от трансформеров до генераторов изображений.

Итак, пропускное соединение — это простой, но мощный трюк: вместо того чтобы заставлять сигнал пробиваться через каждый слой, ему дают путь в обход. Это решает фундаментальную проблему глубокого обучения и остаётся тихим героем множества прорывов в ИИ.