ResNet

ResNet, сокращение от Residual Network, — это архитектура глубоких нейронных сетей, в которой каждый блок учится вычислять не целевую функцию напрямую, а лишь её изменение относительно входа. Появление такой схемы в 2015 году стало переломным моментом в искусственном интеллекте: исследователи наконец смогли обучать модели с сотнями и тысячами слоёв, которые раньше просто не работали.

Почему это важно? До ResNet глубина нейросети была жёстким ограничением. При обратном распространении ошибки сигнал градиента, проходя через десятки промежуточных слоёв, экспоненциально слабеет или взрывается. Веса почти не обновляются, и сеть перестаёт обучаться. Любое добавление новых слоёв ухудшало качество — это явление называется деградацией. ResNet обошла эту проблему, и благодаря ей компьютеры стали значительно точнее распознавать объекты, анализировать медицинские снимки и управлять автономными автомобилями.

Как это работает на интуитивном уровне? Представьте, что вы редактируете черновик: вместо написания текста заново вы вносите правки. В ResNet сигнал идёт двумя путями: через несколько слоёв, которые вычисляют поправку, и по короткому пути, сохраняющему исходные данные. Затем обе части складываются. Если слои не улучшают результат, они выучат нулевую поправку, и сигнал пройдёт без изменений. Благодаря такому «шоссе» градиенты беспрепятственно достигают ранних слоёв, а глубокие сети успешно обучаются.

Прикладной пример: в системах диагностики рака лёгких ResNet анализирует томографию, выявляя узелки. Остаточная связь позволяет модели одновременно учитывать мелкие детали и общий контекст лёгких, не теряя информацию. Такая система уже внедряется в крупнейших клиниках, помогая врачам снизить число пропущенных диагнозов.

Вывод: ResNet — одна из самых влиятельных идей в глубоком обучении. Остаточные блоки сегодня лежат в основе трансформеров, автопилотов и фоторедакторов. Понимание этого принципа — ключ к освоению современного искусственного интеллекта.