Плотная сегментация: парсинг сцены пирамиды (PSPnet)

Статья: https://arxiv.org/abs/1612.01105

Github: https://github.com/hszhao/PSPNet

Факт: в этом документе сообщается о результатах:

Статистика:

Большинство методов пиксельной сегментации сосредоточены на объединении функций низкого уровня, но с высоким разрешением, с высоким уровнем низкого разрешения, чтобы извлечь выгоду из обоих. Мало кто обратил внимание на глобальные априоры.

Один из сценариев, который может пригодиться глобальный априор, - обеспечить здравый смысл в соответствии с глобальной контекстной информацией. Сеть с меньшей вероятностью ошибочно ошибется с объектами, имеющими схожие пространственные характеристики (например, дерево и столб в Cityscape).

Сетевая архитектура:

PSP добавляет многомасштабный пул поверх бэкэнд-модели для агрегирования глобальной информации разного масштаба. Слой повышающей дискретизации реализуется посредством билинейной интерполяции. После объединения PSP объединяет различные уровни функций с помощью свертки 3x3.

Мысли:

  1. Зачем использовать билинейную интерполяцию вместо деконволюции?
    Я думаю, что хорошо обученная деконволюция все же должна быть лучше, чем билинейная интерполяция. Однако деконволюция обычно имеет большое количество параметров и вычислений, которые требуют огромного количества наборов данных и усилий для настройки.
  2. Подходит ли PSP для каждого набора данных и потенциально может ли он стать обязательным модулем, который мы должны добавить в каждую сеть сегментации?
    Не совсем. PSP может быть хорош, когда сцена сложна, а набор данных очень разнообразен. Но как бы излишне, когда количество категорий меньше, а набор данных более простой (например, беспилотный автомобиль). Кроме того, PSP стоит недешево и, вероятно, не стоит того.
  3. Анализ затрат на вычисления.
    Самая дорогая часть модуля PSP - это использование свертки 3x3 для объединения результатов объединения различных масштабов. Если Resnet используется как бэкэнд, свертка содержит 3x3x2048x256 = 4,718,592 параметров. Это может быть проблемой в среде с ограниченными ресурсами (например, в беспилотном автомобиле).