По сценарию Бринна Бент, Лины Колуччи и Эндрю Вайца

В этой статье мы представляем InfiniteForm, синтетически сгенерированный набор данных для фитнес-приложений. Набор данных был разработан, чтобы свести к минимуму предвзятость в отношении формы тела и тона кожи в фитнес-индустрии. Мы представим его на семинаре NeurIPS Data-Centric AI Workshop в декабре 2021 года.

Если вы предпочитаете видео/аудио, ознакомьтесь с нашей последней презентацией InfiniteForm.

Мотивация: удаленный фитнес — это быстрорастущее пространство

Индустрия удаленного фитнеса в последние годы переживает бум. Растущий интерес к здоровью и фитнесу, стремление к большей гибкости и протоколы социального дистанцирования, введенные во время пандемии, привели к серьезным изменениям в том, как мы занимаемся фитнесом. Загрузки фитнес-приложений за последние полтора года выросли до 67%. А компании удаленного фитнеса, такие как Peloton, Tempo и NordicTrack, вытесняют тренажерные залы и фитнес-центры за время и деньги людей.

В связи с растущим спросом на удаленный фитнес компании обращаются к моделям компьютерного зрения, чтобы предложить персонализированный опыт (например, подсчет повторений), точное отслеживание тренировок (например, расход энергии или мощность) и автоматическую обратную связь с формой (например, коррекция формы). ). Тем не менее, лучшие модели зрения по-прежнему не работают во многих реальных фитнес-сценариях.

Например, самая современная модель оценки позы Google BlazePose плохо справлялась со многими изученными нами фитнес-упражнениями, такими как выпады. К сожалению, в открытом доступе не было наборов данных о выпадах (или большинстве фитнес-упражнений), к которым мы могли бы обратиться для точной настройки BlazePose. Поэтому мы создали наши собственные синтетические данные и обучили модель оценки позы, которая хорошо показала себя в наших целевых упражнениях (см. рисунок выше для сравнения). Об этом можно прочитать в нашем блоге Начало бесконечных данных.

Этот опыт побудил нас создать набор данных с открытым исходным кодом, который сообщество компьютерного зрения могло бы использовать для разработки решений в области фитнеса.

Проблема: нет надежных наборов данных с открытым исходным кодом для области фитнеса.

Большинство существующих наборов данных для оценки поз человека, таких как COCO и AGORA, не содержат разнообразия поз, наблюдаемого в области фитнеса. Leeds Sports Dataset содержит спортивные позы (броски, бег, ловля и т. д.), но не типичные позы для фитнеса (йога, растяжки, отжимания, приседания и т. д.). Набор данных Yoga-82 имеет разнообразный набор поз, но ограниченное количество меток изображений.

Решение: мы разработали InfiniteForm, чтобы заполнить пробел между существующими наборами данных с открытым исходным кодом и реальными фитнес-приложениями.

InfiniteForm содержит 60 000 изображений, помеченных 9 уникальными ярлыками. Это самый полный доступный набор данных о фитнесе с открытым исходным кодом. Его можно использовать для обучения моделей оценки позы, моделей распознавания действий, моделей обнаружения людей и многого другого.

InfiniteForm содержит 15 популярных категорий поз для фитнеса, и каждый аватар в наборе данных имеет уникальную вариацию позы, ограниченную кинематическими ограничениями. Фон и источник освещения были изменены с использованием почти 150 уникальных панорам 4k HDRI. Каждое из 60 тыс. изображений включает от 1 до 5 аватаров, что представляет собой сложные узоры окклюзии. Аватары реализованы с помощью модели тела SMPL-X с использованием случайно выбранных параметров формы тела для создания различных физических образов. Мы начали с 50 различных текстур аватара и добавили вариации тона кожи и одежды, случайным образом искажая кривые RGB.

Наши 9 различных меток изображений включают в себя 2D- и 3D-ключевые точки и ограничивающие рамки в дополнение к различным типам сегментации. Некоторые из этих меток невозможно получить с помощью набора данных, собранных человеком, включая глубину и ключевые точки, которые скрыты в сцене.

На изображении выше мы показываем некоторые из богатого разнообразия нашего набора данных. Вы можете увидеть различные сцены, аватары, позы и варианты поз. Такое разнообразие необходимо при разработке моделей компьютерного зрения, чтобы избежать переобучения и гарантировать, что модели подходят для целевой аудитории.

Еще одна вещь, которая была важна для нас, заключалась в том, чтобы свести к минимуму систематическую ошибку в наборе данных. Мы считаем важным, чтобы удаленный фитнес был инклюзивным опытом, который точно работал для всех типов телосложения и оттенков кожи. Предвзятость набора данных может иметь серьезные последствия для получающихся в результате моделей машинного обучения, как показано в Работе Джой Буоламвини, которая была показана в недавнем документальном фильме Netflix Закодированная предвзятость.

Это одно из больших преимуществ использования синтетических данных — мы можем иметь более репрезентативное распределение в нашем наборе данных и максимально минимизировать систематическую ошибку.

В наборе данных InfiniteForm у нас есть равное распределение аватаров, представляющих пол. Наше распределение по форме тела основано на общемировом среднем, с нормальным распределением роста и веса по окружности. И мы представили каждый из стандартных оттенков кожи Фитцпатрика в нашем наборе данных. В будущем мы также хотим иметь разные возрастные категории, разные типы причесок и аксессуаров.

Как использовать набор данных InfiniteForm?

Вы можете узнать больше о наборе данных InfiniteForm в нашем препринте или README, а также получить ссылку для доступа к набору данных на веб-сайте InfiniteForm. Мы также представим набор данных на семинаре NeurIPS Data-Centric AI Workshop в декабре 2021 года.

Хотите дополнительные позы для упражнений? Разные ракурсы камеры? Новые этикетки? Больше разнообразия в одежде? Или какие-то другие изменения?

Свяжитесь с нами по адресу [email protected]! Мы можем генерировать данные в соответствии с вашими потребностями.

Синтетические данные в Infinity AI

В Infinity AI мы предоставляем синтетические данные по запросу для команд компьютерного зрения через Pixelate API. Заинтересованы в использовании синтетических данных в своих проектах? Свяжитесь с нами по адресу [email protected] или ознакомьтесь с нашим недавно выпущенным синтетическим набором данных с открытым исходным кодом для фитнес-приложений — InfiniteForm.