Документ SqueezeNet предоставляет интеллектуальную архитектуру, а также количественный анализ. При той же точности, что и AlexNet, SqueezeNet может быть в 3 раза быстрее и в 500 раз меньше.

В следующей таблице показаны преимущества SqueezeNet.

Основные идеи SqueezeNet:

  1. Использование фильтров 1x1 (точечных) для замены фильтров 3x3, так как прежние только 1/9 вычислений.
  2. Использование фильтров 1x1 в качестве слоя узкого места для уменьшения глубины и сокращения вычислений следующих фильтров 3x3.
  3. Позднее понизить выборку, чтобы сохранить большую карту функций.

Строительный кирпич SqueezeNet называется пожарным модулем, который содержит два слоя: слой сжатия и слой расширения. SqueezeNet объединяет несколько модулей огня и несколько уровней объединения. Слой сжатия и слой расширения сохраняют тот же размер карты объектов, в то время как первый уменьшает глубину до меньшего числа, а второй увеличивает ее. Сжатие (нижний слой) и расширение характерно для нейронных архитектур. Другой распространенный паттерн - увеличение глубины при уменьшении размера карты объектов для получения высокоуровневой абстракции.

Как показано на приведенной выше диаграмме, модуль сжатия содержит только фильтры 1x1, что означает, что он работает как полностью связанный слой, работающий с характерными точками в одной и той же позиции. Другими словами, у него нет способности к пространственной абстракции. Как следует из названия, одним из его преимуществ является уменьшение глубины карты объектов. Уменьшение глубины означает, что следующие фильтры 3x3 в расширенном слое требуют меньше вычислений. Он увеличивает скорость, поскольку фильтр 3x3 требует вычислений в 9 раз больше, чем фильтр 1x1. По интуиции, слишком сильное сжатие ограничивает информационный поток; слишком мало фильтров 3x3 ограничивает пространственное разрешение. На следующих диаграммах представлен количественный анализ. Удивительно, но влияние оказалось не таким большим, как я ожидал. Означает ли это, что уровни стекирования SqueezeNet придают ему абстрактную мощность или просто избыточность?

использованная литература

  1. SQUEEZENET: ТОЧНОСТЬ УРОВНЯ ALEXNET, В 50 РАЗ МЕНЬШЕ ПАРАМЕТРОВ И РАЗМЕР МОДЕЛИ ‹0,5 МБ: https://arxiv.org/pdf/1602.07360.pdf