Какие методы/алгоритмы используются для распознавания жестов в мультисенсорной среде?

Распознавание жестов, как я уже видел, обычно реализуется с использованием методов машинного обучения, подобных программному обеспечению для распознавания изображений. Вот классный проект на codeproject о распознавании жестов мыши в C#. Я уверен, что концепции очень похожи, поскольку вы, вероятно, можете свести проблему к 2D-пространству. Если у вас есть что-то работающее с этим, я хотел бы увидеть это. Отличная идея проекта!

Один из способов взглянуть на это как на проблему сжатия/распознавания. По сути, вы хотите взять целую кучу данных, отбросить большую их часть и классифицировать остальные. Если бы я делал это (с нуля), я бы, вероятно, поступил следующим образом:

• работа с скользящим окном истории
• возьмите центр тяжести четырех точек в начальном кадре, сохраните его и вычтите из всех позиций во всех кадрах.
• разложите каждый кадр на два компонента: форму созвездия и движение его ЦТ относительно последнего кадра.
• также сохраните абсолютный CofG для последнего кадра
• серия изменений CofG дает вам удары, волны и т. д.
• серия морфинга созвездия дает вам щипки и т. д.

Увидев вашу фотографию (две точки на каждой руке, а не четыре точки на одной, не так ли!) я бы изменил вышеизложенное следующим образом:

• Do the CofG calculation on pairs, with the caveats that:
  • If there are four points visible, pairs are chosen to minimize the product of the intrapair distances
  • Если видны три точки, ближайшие две — это одна пара, другая — другая.
  • Используйте предыдущие/последующие кадры для переопределения при необходимости
• Вместо созвездия у вас есть вложенная структура пар расстояние/ориентация (т. е. один D/O между руками и еще один для каждой руки).
• Передайте полные сокращенные данные распознавателям для каждого жеста, и пусть они разбираются в том, что их волнует.

• Если вы хотите быть симпатичным, сделайте небольшой DSL, чтобы распознать шаблоны, и напишите что-то вроде:

  fire when
      in frame.final: rectangle(points) 
    and
      over frames.final(5): points.all (p => p.jerk)
  

  or

  fire when
      over frames.final(3): hands.all (h => h.click)
  

Видео того, что было сделано с такой техникой, если кому интересно?

Пэтти Мэйс демонстрирует "Шестое чувство" - TED 2009

Большинство простых инструментов распознавания жестов, которые я рассматривал, используют векторный шаблон для их распознавания. Например, вы можете определить свайп вправо как "0", галочку как "-45, 45, 45", круг по часовой стрелке как "0, -45, -90, -135, 180, 135, 90, 45, 0", и так далее.

Эээ... Я работаю над распознаванием жестов уже год или около того, но не хочу много говорить, потому что пытаюсь запатентовать свою технологию :) Но... нам повезло с адаптивным повышением, хотя то, что вы делаете, выглядит принципиально иначе. У вас есть только 4 точки данных для обработки, поэтому я не думаю, что вам действительно нужно что-то «сокращать».

Я бы исследовал, как такие программы, как Flash, превращают нарисованный от руки круг в реальный круг. Кажется, что вы можете отслеживать точки в течение примерно секунды, а затем каким-то образом «сглаживать» путь, и тогда вы, вероятно, можете избежать жесткого кодирования своих жестов (если вы сделаете их достаточно простыми). В противном случае, да, вы захотите использовать алгоритм обучения. Нейронные сети могут сработать... Я не знаю. Просто подбрасываю идеи :) Может быть, посмотрите, как выполняется OCR... или даже преобразования Хафа. Мне кажется, что это проблема распознавания форм, а не жестов.

Я не очень хорошо разбираюсь в такого рода математике, но я где-то читал, что люди иногда используют цепи Маркова. или Скрытые марковские модели для распознавания жестов.

Возможно, кто-то, у кого есть немного больше опыта в этой части компьютерных наук, может подробнее рассказать об этом и предоставить некоторые подробности.