Из-за повышения уровня жизни людей показатели ожирения растут с угрожающей скоростью, и это отражает риски для здоровья людей. Людям необходимо контролировать свое ежедневное потребление калорий, употребляя более здоровую пищу, а это самый простой способ избежать ожирения. Однако, несмотря на то, что на упаковке пищевых продуктов есть этикетка с указанием пищевой ценности (и калорийности), людям все равно не очень удобно ссылаться на нее. Таким образом, ученые начали использовать алгоритмы машинного обучения в компьютерном зрении, чтобы помочь людям определять калорийность пищи, которую они едят. Во время Саммита по глубокому обучению Rework 2015 в Бостоне ученый Google Кевин Мерфи представил алгоритм глубокого обучения, который использовался для анализа статического изображения еды. Анализируя состав еды, изображенной на картинке, алгоритм может подсчитать, сколько калорий содержит блюдо.

В этой статье делается попытка предоставить более эффективный способ оценки калорий. Во-первых, ему нужны изображения вида сверху и сбоку анализируемой пищи. Затем он будет использовать Faster R-CNN для обнаружения продукта питания и объекта калибровки, после чего алгоритм GrabCur используется для определения контура продукта. Оценив объем пищи, авторы могут окончательно оценить количество калорий.

Вступление

Когда индекс массы тела (ИМТ) людей превышает 30 (кг / м2), они обычно считаются страдающими ожирением. Высокий ИМТ может увеличить риск таких болезней, как болезни сердца [1]. Основная причина ожирения связана с дисбалансом между количеством потребляемых (потребляемых) калорий и выходом энергии (расходов). Из-за нежелания регистрировать и отслеживать, отсутствия соответствующей информации о питании или по другим причинам пациенты часто испытывают трудности с контролем количества потребляемых калорий. Существует множество предлагаемых методов оценки калорий на основе компьютерного зрения [2, 3, 4, 5], но после анализа авторов точность определения и оценки объема все еще нуждается в улучшении. В этой статье основное отличие от других аналогичных подходов состоит в том, что он требует ввода двух изображений и использования Faster R-CNN для обнаружения объекта и алгоритма GrabCut для получения контура каждого продукта. После этого авторы могут оценить объем и калорийность каждого продукта.

Материал и методы

A. Метод оценки калорий, основанный на глубоком обучении

Этот метод показан на рисунке 1. Как упоминалось ранее, процесс оценки калорий требует двух изображений сверху и сбоку, и каждое изображение должно включать объект калибровки. Здесь авторы выбирают сверточные нейронные сети на основе более быстрых регионов (Faster R-CNN) [5] для обнаружения объектов и алгоритм GrabCut [6] в качестве алгоритма сегментации.

Б. Обнаружение возражений на основе глубокого обучения

Авторы выбрали Faster R-CNN вместо использования метода семантической сегментации, такого как полностью сверточные сети (FCN). Здесь, после того, как изображения вводятся как каналы RGB, авторы могут получить серию ограничивающих рамок, что означает класс, если его оценили.

C. Сегментация изображений

Этот процесс использует подход обработки изображений для сегментации каждой ограничивающей рамки. Как упоминалось выше, ограничивающие рамки вокруг объекта, который нужен GrabCut, могут быть предоставлены Faster R-CNN. После сегментации мы можем получить серию изображений еды, хранящихся в матрице, но со значениями пикселей фона, замененными нулями. Это оставит только пиксели переднего плана.

D. Оценка объема

Для оценки объема авторы рассчитывают масштабные коэффициенты на основе калибровочных объектов. Авторы используют монету в 1 юань, чтобы показать конкретный процесс расчета объема. Диаметр монеты составляет 2,5 см, а масштабный коэффициент вида сбоку был рассчитан по уравнению 1.

В этом уравнении Ws - это ширина ограничивающего прямоугольника, Hs - это высота ограничивающего прямоугольника. Точно так же масштаб вида сверху можно рассчитать с помощью уравнения 2.

Далее авторы делят продукты на три категории по форме: эллипсоид, столбик, неправильная форма. В соответствии с уравнением 3 для разных типов пищевых продуктов будет выбрана другая формула оценки объема. HS - высота бокового обзора PS, а LkS - количество пикселей переднего плана в строке k (k ∈ 1,2,…, HS). LMAX = max (Lk,…, Lk), он записывает максимальное количество пикселей переднего плана в PS. ß - коэффициент компенсации (значение по умолчанию = 1,0). После этого для каждого типа еды будет уникальное значение.

E. Оценка калорийности

После оценки объема следующим шагом будет оценка массы каждого продукта. Его можно рассчитать по уравнению 4, где v (см³) представляет объем текущей пищи, а ρ (г / см³) представляет собой значение плотности.

Тогда калорийность пищи может быть получена с помощью уравнения 5.

Где m (г) представляет собой массу текущей пищи, а c (Ккал / г) представляет количество калорий на грамм.

Результаты и обсуждение

A. Описание набора данных

В этой статье авторы используют собственное название набора данных о продуктах питания ECUSTFD (доступно для загрузки на этом веб-сайте). ECUSTFD содержит 19 видов продуктов питания. Они используют смартфон для получения необходимых изображений, и каждая пара изображений содержит вид сверху и вид сбоку. В качестве объекта калибровки используется монета 1 CNY. Кроме того, для каждого изображения в ECUSTFD они предоставляют аннотации, записи объема и массы.

Б. Эксперимент по обнаружению объектов

Автор использует сравнительный эксперимент для выбора алгоритма обнаружения объектов. Количество обучающих изображений и тестовых изображений показано на рисунке 2. Средняя точность использовалась для оценки результатов обнаружения объекта. В тестовом наборе Faster R-CNN показал результат 93,0%, а Exemplar SVM - 75,9%.

В. Эксперимент по оценке калорийности пищи

ß (коэффициент компенсации) в уравнении 3 можно рассчитать с помощью уравнения 6, где k - это тип пищи, а N - количество оценок объема.

p в уравнении 4 можно рассчитать с помощью уравнения 7.

После этого авторы приводят определение формы, количество оценочных изображений, ß, ρ каждого продукта в таблице 1.

Затем, используя изображения из набора тестов, результаты могут быть показаны в таблице 2.

Авторы используют ошибку среднего объема для оценки результатов оценки объема. Определение ошибки среднего объема показано в уравнении 8, где тип пищи - i, 2Ni - количество изображений, которые Faster R-CNN распознает правильно.

Определение ошибки средней массы дано в уравнении 9.

По результатам в таблице 2 мы видим, что результаты оценки большинства типов продуктов питания ближе к реальным реальным значениям. За исключением банана, хлеба и лунного пирога, средняя ошибка между оценочным объемом и истинным объемом не превышает ± 20%. Даже если метод дренажа не так точен, но метод оценки может быть принят.

Заключение

Эта статья дает нам метод оценки калорийности, и результаты экспериментов выглядят многообещающими.

Поскольку изображения берутся со смартфонов, а используемые здесь методы обработки изображений хорошо развиты, этот предложенный метод можно легко интегрировать в приложения для здоровья в качестве инженерного решения. Тем не менее, с точки зрения исследования, я думаю, что у этой статьи есть два ограничения. Во-первых, нет сравнения с предыдущими работами. Авторы предоставили обзор литературы во введении, но я думаю, что им следовало сравнить свои результаты с результатами предыдущей работы. Если этот подход может обеспечить лучшую производительность, то мы можем сказать, что эта статья предлагает более эффективный способ. К сожалению, мы не можем сказать этого, потому что автор не провел серию сравнительных экспериментов. Во-вторых, я не уверен, является ли набор данных точным или достаточно большим. Авторы просто говорят, что берут изображения со смартфона, но не уточняют, существует ли стандарт для сбора изображений. Нравится интенсивность света и количество пикселей. Кроме того, в Таблице 2 мы видим, что средняя ошибка все еще велика, что указывает на то, что есть место для того, чтобы значительно уменьшить среднюю ошибку.

Ссылка

[1] W. Zheng, DF Mclerran, B. Rolland, X. Zhang, M. Inoue, K. Matsuo, J. He, PC Gupta, K. Ramadas, S. Tsugane, Связь между индексом массы тела и риском смерть у более чем 1 миллиона азиатов, Медицинский журнал Новой Англии, 364 (8) (2011) 719–29.
[2] В. Цзя, Х. К. Чен, Ю. Юэ, З. Ли, Дж. Фернстром, Ю. Бай, К. Ли, М. Сунь, Точность оценки размера порции пищи по цифровым изображениям, полученным камера на груди., Public Health Nutrition 17 (8) (2014) 1671–81.
[3] Z. Guodong, Q. Longhua, Z. Qiaoming, Определение размера порции пищи с помощью обработки изображений, 2008, стр. 119–128.
[4] Ю. Бай, К. Ли, Ю. Юэ, В. Цзя, Дж. Ли, Ч. Мао, М. Сунь, Разработка носимого компьютера для оценки образа жизни., в: Конференция по биоинженерии, 2012 г., С. 93–94.
[5] П. Пуладзаде, П. Кухад, С. В. Б. Педди, А. Ясин, С. Ширмохаммади, Мобильное облачное измерение калорийности пищи (2014) 1–6.
[6] С. Рен, К. Хе, Р. Гиршик, Дж. Сан, Faster r-cnn: На пути к обнаружению объектов в реальном времени с помощью сетей предложения регионов, в: Достижения в системах обработки нейронной информации, 2015. С. 91–99.
[7] К. Ротер, В. Колмогоров, А. Блейк, Grabcut: Интерактивное извлечение переднего плана с использованием итерационных разрезов графа, в: Транзакции ACM в графике (TOG), Vol. 23, ACM, 2004, стр. 309–314.

Автор: Шисинь Гу | Редактор: Джони Чанг | Локализовано Synced Global Team: Сян Чен