ResNets остаются крайне востребованными спустя 5,5 лет
He et al. представили ResNet в своей новаторской статье Глубокое остаточное обучение для распознавания изображений в конце 2015 года, и с тех пор практически каждая новая модель классификации изображений сравнивает свои результаты с ResNet или ее вариантами.
Необходимые знания: сверточные нейронные сети, проблема исчезающего градиента
- Почему? Теоретически углубление сверточных нейронных сетей полезно для задач классификации изображений, но простые сети, которые слишком глубоки, имеют проблему ухудшения точности обучения. вызвано исчезающими градиентами.
- Что? В этом документе представлена структура глубокого остаточного обучения, использующая беспрепятственные соединения пропуска / быстрого доступа, чтобы избежать проблемы исчезающего градиента.
- Как? В каждом строительном блоке остаточного обучения входные данные разделяются на два пути (один путь проходит через все уровни обучения, а другой позволяет пропускать некоторые из уровней), которые поэлементно суммируются. на выходе. Серия блоков остаточного обучения эффективно упрощает сеть, чтобы уменьшить эффект исчезающих градиентов (так как существует меньше слоев для распространения), а также ограничивает пропущенные слои для изучения желаемого пространства признаков (F (x) ) на основе существующего сопоставления (H (x)).
Статьи по теме:
