Новая платформа видеоанализа для исследования классификации человеческой деятельности и создания моделей.

Открытая классификация человеческой активности (OpenHAC) - это пользовательский интерфейс с открытым исходным кодом для извлечения, анализа и исследования цифровых биомаркеров с инструментами для создания, оценки и развертывания классификаторов машинного обучения. Он основан на существующих пакетах программного обеспечения, используемых для количественной оценки поведенческих характеристик и сборки фреймворков машинного обучения. Мои цели в этом проекте: 1) сделать исследования цифровых биомаркеров доступными для всех исследователей, разработчиков, ученых и гражданских ученых, чтобы продвинуть цифровое измерение здоровья и создать доступ к новым инструментам фенотипирования человеческой деятельности, и 2) создать сообщество людей, работающих над созданием клинически и академически значимых технологических решений для здоровья человека.

Цифровое извлечение биомаркеров

Функции цифровых биомаркеров, доступные в OpenHAC, в настоящее время включают лицевую активность, оккуломоцию, модели движений, ключевые точки тела и частоту сердечных сокращений.

Взгляд в лицо

Данные лица, головы и взгляда полагаются на измерения OpenFace, которые передаются в OpenDBM для получения клинически и академически значимых поведенческих характеристик.

OpenFace: https://github.com/TadasBaltrusaitis/OpenFace

OpenDBM: https://github.com/AiCure/open_dbm

Сбор данных

Вывод

Поза тела

Точки тела включают локализации на голове, руках и ногах - всего 15 баллов. OpenHAC полагается на обработку изображений OpenCV и предварительно обученные модели, используемые в библиотеке OpenPose.

OpenCV: https://opencv.org/

OpenPose: https://github.com/CMU-Perceptual-Computing-Lab/openpose

Сбор данных:

Вывод

Частота пульса

Измерение пульса OpenHAC построено на работе habom2310. Использование функции частоты пульса позволяет извлекать количество ударов в минуту и ​​точность на каждый кадр.

Камера для измерения пульса: https://github.com/habom2310/Heart-rate-measurement-using-camera

Сбор данных

Вывод

Классификация человеческой деятельности

С помощью OpenHAC также можно создавать, анализировать и извлекать новые функции цифровых биомаркеров с помощью инструментов классификации машинного обучения. Комбинируя поведенческие характеристики с ручной классификацией, пользователь может создавать эффективные классификаторы поведенческих проявлений, таких как боль, сонливость, уровень активности и атипичные движения - среди многих других.

OpenHAC использует библиотеку PyCaret на базе Scicit-Learn для сравнения, создания, сохранения, загрузки и развертывания моделей машинного обучения. Процесс создания классификаторов человеческой деятельности доступен и прост благодаря графическому пользовательскому интерфейсу OpenHAC.

Настройте данные и сравните несколько моделей

OpenHAC использует функции PyCaret для инициализации обучающей среды, которая создает конвейер. Затем он может обучать и оценивать производительность всех оценщиков в библиотеке PyCaret с помощью перекрестной проверки.

Выберите классификатор и оцените эффективность

OpenHAC может обучать и оценивать любую из моделей в библиотеке PyCaret. Графики используются для анализа и интерпретации модели на основе данных удержания.

Прогнозирование и сохранение

OpenHAC обучает модель всему набору данных, а затем назначает метки прогнозирования и оценки (вероятность прогнозируемого класса). Наш конвейер преобразования и обученный объект модели сохраняются как файл pickle для дальнейшего использования.

OpenHAC может быть отличным инструментом для людей, интересующихся классификацией человеческой деятельности. Он все еще находится в разработке и поэтому может извлечь выгоду из тех, кто хочет помочь ему в развитии. Если вы заинтересованы в участии в проекте OpenHAC, напишите мне по адресу [email protected]. Спасибо за поддержку!!

Код OpenHAC доступен на GitHub: https://github.com/chags1313/OpenHAC

Вики-сайт OpenHAC может помочь вам начать работу: https://github.com/chags1313/OpenHAC/wiki