Аннотация:

Технологии, связанные с искусственным интеллектом (ИИ), оказывают сильное влияние на изменения в исследованиях и творческих практиках. С быстрым развитием компьютерного зрения потребность во взаимодействии человека и машины становится все более обширной. Жесты рук могут выражать обогащенную информацию, распознавание жестов рук широко используется в управлении роботами, интеллектуальной мебели и других аспектах. В статье представлена ​​сегментация жестов рук путем создания бесконтактного пользовательского интерфейса (TUI). TUI управляет компьютером жестами рук, не касаясь клавиатуры, мыши или экрана. Это позволяет приложению рисовать различные формы, такие как круг, прямоугольник, линии, рисование от руки и ластик. Несмотря на то, что человеческая рука отделена от сложного фона и обнаруживается в режиме реального времени, распознается сверточной нейронной сетью

Цель:

  • Чтобы создать виртуальный холст для эскиза.
  • Для обнаружения человеческого пальца в качестве цветового маркера.
  • Чтобы выполнить морфологические операции.
  • Чтобы создать интерфейс между пользователем и системой.

Существующая система:

1. Существующая система работает только пальцами, никаких хайлайтеров, красок и т.д.

2. Идентификация и характеристика объекта, такого как палец, на изображении RGB без датчика глубины — серьезная проблема Еще одна проблема — отсутствие движений пера вверх и вниз.

3. Поскольку определение глубины невозможно, движение пера вверх и вниз невозможно отследить.

Предлагаемая система:

В этом проекте потоковое видео будет использоваться в качестве входных данных с использованием opencv. Затем с помощью жеста руки медиапайп определяет действие, которое необходимо предпринять. Выход, т.е. нарисованные структуры будут отображаться.

ЗАКЛЮЧЕНИЕ:

В исследовании представлено решение для системы идентификации рук для создания эскизов воздушных приложений. Экспериментальная точность составляет 98,48%, что соответствует реальным требованиям. Эта система может поставить под сомнение традиционные подходы к письму и обучению. Это приложение для рисования пространства в реальном времени на двухмерной прямоугольной поверхности. Это также будет чрезвычайно полезно для облегчения общения для людей с ограниченными возможностями. Даже пожилые люди или те, у кого проблемы с клавиатурой, могут легко использовать систему.

ОБЛАСТЬ БУДУЩЕГО

Эта система также может использоваться для управления устройствами IoT, расширяя ее возможности. Это решение станет фантастическим программным обеспечением для смарт-носимых устройств, которое позволит людям более эффективно взаимодействовать с цифровым миром. Текст можно оживить с помощью дополненной реальности. Системы воздушного письма должны только следовать управляющим жестам своего хозяина и не обманывать публику. Точность и скорость распознавания кончиков пальцев можно повысить с помощью новых технологий обнаружения объектов, таких как YOLO v3.

Ссылка:

[1] Чен, Цин, Николя Д. Георганас и Эмиль М. Петриу. «Распознавание жестов рук на основе зрения в реальном времени с использованием функций, подобных хаару». В материалах конференции по приборостроению и измерительным технологиям, 2007 г. IMTC 2007. IEEE, стр. 1–6. IEEE, 2007 г.

[2] Гарг, Прагати, Навин Аггарвал и Санджив Софат. «Распознавание жестов рук на основе зрения». Всемирная академия наук, техники и технологий 49, вып. 1 (2009): 972–977.

[3] Линхарт, Райнер и Йохен Майдт. «Расширенный набор функций, подобных Хаару, для быстрого обнаружения объектов». В обработке изображений. 2002. Материалы. Международная конференция 2002 г., том. 1, стр. I-I. IEEE, 2002 г.

[4] Фриман, Уильям Т. и Михал Рот. «Гистограммы ориентации для распознавания жестов рук». В Международном семинаре по автоматическому распознаванию лиц и жестов, том. 12, стр. 296–301. 1995 г.

[5] Флорес, Франциско, Хуан Мануэль Гарсия, Хосе Гарсия и Антонио Эрнандес. «Распознавание жестов рук в соответствии с динамикой сети, сохраняющей топологию». В «Автоматическом распознавании лиц и жестов», 2002 г. Труды. Пятая международная конференция IEEE, стр. 318–323. IEEE, 2002 г.