Residual connection

Остаточное соединение (residual connection, или skip connection) — это элемент нейросети, который добавляет входной сигнал слоя к его выходу. Формально блок с таким соединением вычисляет не f(x), а f(x) + x, где f — преобразования внутри блока. Проще говоря, сеть учится предсказывать только разницу (остаток) между входом и нужным результатом.

Зачем это важно? Без таких соединений глубокие сети почти не обучаются: градиенты при обратном распространении затухают, и первые слои не получают полезного сигнала. Остаточная связь даёт градиенту короткий путь в обход всех слоёв, поэтому сети с сотнями слоёв становятся реальностью, а обучение дополнительно ускоряется.

Интуитивно это похоже на ремонт дома: вы не сносите несущие стены, а добавляете новые детали. Так и блок с остаточной связью берёт уже готовое представление данных и лишь уточняет его, добавляя то, чего не хватает. Это напоминает работу художника, который не перерисовывает полотно с нуля, а накладывает новые мазки.

Классический пример — архитектура ResNet, представленная в 2015 году. Благодаря остаточным блокам удалось обучить сеть из 152 слоёв, которая победила в конкурсе ImageNet и стала основой современного компьютерного зрения.

Сегодня остаточные соединения используются повсюду: от свёрточных сетей до трансформеров, лежащих в основе GPT. Этот простой приём — помни о входе, добавляй только новое — стал фундаментом современного ИИ. Одна из тех гениальных идей, что превратили глубокое обучение в индустриальную технологию.