Плотная сегментация: парсинг сцены пирамиды (PSPnet)
Статья: https://arxiv.org/abs/1612.01105
Github: https://github.com/hszhao/PSPNet
Факт: в этом документе сообщается о результатах:
Статистика:
Большинство методов пиксельной сегментации сосредоточены на объединении функций низкого уровня, но с высоким разрешением, с высоким уровнем низкого разрешения, чтобы извлечь выгоду из обоих. Мало кто обратил внимание на глобальные априоры.
Один из сценариев, который может пригодиться глобальный априор, - обеспечить здравый смысл в соответствии с глобальной контекстной информацией. Сеть с меньшей вероятностью ошибочно ошибется с объектами, имеющими схожие пространственные характеристики (например, дерево и столб в Cityscape).
Сетевая архитектура:
PSP добавляет многомасштабный пул поверх бэкэнд-модели для агрегирования глобальной информации разного масштаба. Слой повышающей дискретизации реализуется посредством билинейной интерполяции. После объединения PSP объединяет различные уровни функций с помощью свертки 3x3.
Мысли:
- Зачем использовать билинейную интерполяцию вместо деконволюции?
Я думаю, что хорошо обученная деконволюция все же должна быть лучше, чем билинейная интерполяция. Однако деконволюция обычно имеет большое количество параметров и вычислений, которые требуют огромного количества наборов данных и усилий для настройки. - Подходит ли PSP для каждого набора данных и потенциально может ли он стать обязательным модулем, который мы должны добавить в каждую сеть сегментации?
Не совсем. PSP может быть хорош, когда сцена сложна, а набор данных очень разнообразен. Но как бы излишне, когда количество категорий меньше, а набор данных более простой (например, беспилотный автомобиль). Кроме того, PSP стоит недешево и, вероятно, не стоит того. - Анализ затрат на вычисления.
Самая дорогая часть модуля PSP - это использование свертки 3x3 для объединения результатов объединения различных масштабов. Если Resnet используется как бэкэнд, свертка содержит 3x3x2048x256 = 4,718,592 параметров. Это может быть проблемой в среде с ограниченными ресурсами (например, в беспилотном автомобиле).