Знаменитый британский математик Джейкоб Броновски однажды сказал, что «рука — это острие разума». От дружеского рукопожатия до поднятия кулаков — всю гамму человеческих эмоций и поведения можно передать с помощью жестов рук. Высокая выразительная сила человеческих рук, естественно, представляет интерес для исследователей машинного обучения в области взаимодействия человека с компьютером, социального искусственного интеллекта и робототехники.

Однако существующие методы монокулярного захвата движения, как правило, сосредоточены на движение тела, в то время как современные подходы к захвату движений рук в значительной степени упускают из виду движение тела. Теперь исследователи из Китайского университета Гонконга, Facebook Reality Labs и Facebook AI Research представили современный монокулярный 3D-метод захвата движений рук, FrankMocap, который может оценивать как 3D-движения рук, так и движения тела внутри помещения. дикие монокулярные входы с более высокой скоростью и большей точностью, чем предыдущие подходы.

Метод состоит из двух модулей регрессии, которые прогнозируют трехмерные позы рук и тела по отдельности на основе одного входного изображения RGB, за которым следует модуль интеграции, который создает позу всего тела на основе выходных данных тела и руки. модули.

Выходы трехмерного захвата движений рук были разработаны для эффективной интеграции с выходами монокулярного захвата движений тела для получения результатов движения всего тела в единой параметрической структуре модели. «Основная идея нашего подхода состоит в том, чтобы сделать выходные данные модуля тела и ручного модуля как можно более совместимыми, что позволит нам эффективно интегрировать выходные данные для захвата движения всего тела», — объясняют исследователи в статье FrankMocap: Fast Monocular. 3D-съемка движений рук и тела с помощью регрессии и интеграции.

Исследователи продемонстрировали быструю и точную работу FrankMocap на различных монокулярных видеороликах реального мира, включая демонстрацию в реальном времени, и сравнили свой метод с предыдущими методами захвата движения рук и методами захвата движения всего тела, проводя тщательные исследования абляции.

Они протестировали свой ручной модуль в сравнении с предыдущими подходами SOTA для рук на трех общедоступных тестах рук — Stereo Hand Pose Tracking Benchmark (STB), Rendered Hand Dataset (rhd) и наборе данных MPII+NZSL. Они рассчитали процент правильных ключевых точек при различных пороговых значениях и соответствующую площадь под кривой (AUC) для ключевых точек.

Предлагаемый метод превосходит все тесты на RHD и MPII+NZSL и показывает сравнимую производительность на СТБ. Примечательно, что он показывает значительно более высокую точность 2D-локализации на сложном наборе данных MPII+NZSL, демонстрируя свою способность к обобщению в таких неструктурированных сценариях.

Исследователи также отмечают несколько ограничений своего метода: он по-прежнему требует ограничивающих рамок для вывода трехмерного тела и рук и изо всех сил пытается оценить позу рук, когда руки находятся слишком близко друг к другу. Исследователи считают, что решение этих проблем в будущих исследованиях позволит модели обрабатывать случаи, когда несколько людей взаимодействуют друг с другом, и в конечном итоге позволит машинам лучше понимать, что мы имеем в виду, когда говорят наши руки.

статья FrankMocap: быстрый монокулярный 3D-захват движений рук и тела с помощью регрессии и интеграции находится на arXiv.

Корреспондент: Юань Юань | Редактор: Майкл Саразен

Синхронизированный отчет | Обзор китайских решений искусственного интеллекта в ответ на пандемию COVID-19 — 87 тематических исследований от более чем 700 поставщиков ИИ

В этом отчете предлагается взглянуть на то, как Китай использует технологии искусственного интеллекта в борьбе с COVID-19. Он также доступен на Amazon Kindle. Вместе с этим отчетом мы также представили базу данных, охватывающую дополнительные 1428 решений искусственного интеллекта для 12 сценариев пандемии.

Нажмите здесь, чтобы найти больше отчетов от нас.

Мы знаем, что вы не хотите пропустить ни одной истории. Подпишитесь на нашу популярную рассылку Synced Global AI Weekly», чтобы получать еженедельные обновления AI.