Проблема вывода изображения на пиксель с маркировкой сцены (с использованием семантической сегментации FCN-32)

Я ищу способ, который, учитывая входное изображение и нейронную сеть, выводит помеченный класс для каждого пикселя изображения (небо, трава, гора, человек, автомобиль и т. д.).

Я настроил Caffe (ветку будущего) и успешно запустил полностью сверточную семантическую сегментацию FCN-32. на модели PASCAL-Context. Однако я не могу создавать с ним четкие маркированные изображения.

Изображения, которые визуализируют мою проблему:
Исходное изображение

основная правда

И мой результат:

Это может быть проблема с разрешением. Есть идеи, где я ошибаюсь?


deep-learning neural-network image-processing caffe labeling
person irri    schedule 08.09.2015    source источник

Ответы (1)


arrow_upward
5
arrow_downward

Кажется, что модель 32s делает большие успехи и, следовательно, работает с грубым разрешением. Можете ли вы попробовать 8-секундную модель, которая, по-видимому, обеспечивает меньшее снижение разрешения.
Глядя на Дж. Лонг, Э. Шелхамер, Т. Даррелл Полностью сверточные сети для семантической сегментации, CVPR 2015 (особенно на рис. 4) кажется, что модель 32s не предназначена для захвата мелких деталей сегментации.

person Shai    schedule 09.09.2015
comment
Благодарю вас! Казалось, это помогло. Я получаю хорошие результаты сейчас. - person irri; 24.09.2015
comment
@irri работает ли с тобой восьмишаговая модель, обученная Шелхамером? gist.github.com/shelhamer/91eece041c19ff8968ee - person Ahmed Abobakr; 23.10.2015
comment
@Shai: Не могли бы вы ответить Что такое «семантическая сегментация» по сравнению с «сегментацией» и «маркировкой сцены»?? - person Martin Thoma; 27.11.2015
comment
Обычная сегментация @Martin Thoma разбивает изображения на полезные капли. Семантическая сегментация разбивает изображения на полезные блоки и точно помечает эти блоки. Другими словами, идея заключается в том, что регулярная сегментация может выделить стул и собаку отдельно, но вы не будете знать, что из себя представляет каждая из них. При семантической сегментации каждый будет разделен и соответствующим образом помечен как стул и собака. - person Andrew Hundt; 28.02.2016
comment
@AndrewHundt - этот комментарий принадлежит другому потоку, посвященному сегментации и семантической сегментации. - person Shai; 28.02.2016