Обнаружение и отслеживание черт лица

Я хочу обнаруживать и отслеживать губы и уголки глаз в 2D-видео

Я завершил обнаружение черт лица во фронтальной позе, нейтральных выражениях и хороших условиях освещения, используя детектор лиц и характерных точек OpenCV Viola-Jones.

Я использовал CascadeClassifier::detectMultiScale с haarcascade_frontalface_alt, xml-файлы haarcascade_eye, haarcascade_mcs_mouth. Он отлично работает до 15 градусов вращения и нейтрального выражения.

Но теперь я просто хочу знать, возможно ли обнаружение черт лица (глаз, рта, как на изображении) в следующих условиях??

  • Поворот головы до 45 градусов

  • Выражения - Говорить, смеяться, улыбаться, ...

    введите здесь описание изображения

OpenCV не является обязательным, подойдет любая библиотека или реализация. Во-первых, я также согласен с любым справочным документом. Нельзя использовать камеру 3D Range и другие датчики 3D-камеры.


c++ opencv computer-vision image-processing feature-detection
person 2vision2    schedule 16.03.2013    source источник
comment
ищите LandMarks, Active Shape Models, ActiveAppearance Models   -  person berak    schedule 16.03.2013
comment
@break :: Спасибо за ответ.. Работают ли эти модели на нефронтальные?   -  person 2vision2    schedule 16.03.2013
comment
вам, вероятно, придется обучить свою собственную модель для этого случая. большинство пакетов, таких как stasm или asmlib, также поставляются с инструментами для этого. кроме того, есть новый lbpcascade для просмотра профиля лица также.   -  person berak    schedule 16.03.2013
comment
Спасибо .. любые предложения по обнаружению рта с большими изменениями выражений в видео .. Я думаю, что AAM, ASM справятся с этим ....   -  person 2vision2    schedule 16.03.2013

Ответы (1)


arrow_upward
4
arrow_downward

Вы уже разместили здесь вопрос: Обнаружение характерных точек лица с использованием OpenCV . И у меня возникает соблазн назвать это дубликатом вашего собственного вопроса.

Это уже отвечает на ваш вопрос с помощью популярного инструмента flandmark. Единственная разница в этом вопросе заключается в том, что вы спросили о большей степени изменения позы, то есть до 45 градусов. Если вы читаете соответствующий статью с флажком , они используют один из самых современных наборов данных для оценки, Labeled Faces. in the Wild (LFW), который уже охватывает умеренный диапазон вариаций поз.

Если вы готовы пожертвовать скоростью ради точности на лицах вне позы, тогда в другой работе 2012 года есть гораздо более плотный алгоритм определения ориентиров, оцениваемый по набору изображений, который, я бы сказал, имеет больше вариаций позы, чем LFW. Веб-страница проекта находится здесь.

Я также рекомендую в будущем ссылаться на свои собственные вопросы, если они похожи друг на друга, и четко обозначить, что отличается и уникален в вашем вопросе, что заслуживает нового.

person bjou    schedule 04.07.2013