Наш эксперимент по выяснению того, как качество достоверных данных существенно влияет на вашу алгоритмическую производительность

Известно, что аннотации ограничивающего прямоугольника могут быть подвержены шуму. В зависимости от необработанных данных ограничивающие прямоугольники могут содержать больше объектов внутри своих границ, чем классифицированный объект. Этот шум влияет на обучение алгоритма.

В этой статье мы рассмотрим влияние зашумленных аннотаций ограничивающего прямоугольника на качество обнаружения и классификации объектов для глубоких нейронных сетей. Уже существуют исследования влияния на классификацию объектов (Глубокое обучение устойчиво к сильному шуму этикеток), но мало исследований было проведено в отношении шума локализации.

Мы провели наш эксперимент в феврале 2018 года и представили свои результаты на выставке Automotive Tech AD в Берлине и на Auto Ai в Сан-Франциско в начале марта. Благодаря положительным отзывам, теперь мы хотим поделиться своими наблюдениями в виде этой статьи.

В течение нескольких недель мы обучили наши алгоритмы на трех различных наборах обучающих данных с управляемыми уровнями качества. Качество варьировалось от наземной правды до слегка нарушенной наземной правды до очень нарушенной наземной правды.

Прежде всего, давайте определимся, что означает «наземная правда».

«Абсолютная правда» легко объяснить своим географическим происхождением. Когда люди начали делать спутниковые снимки, им нужно было знать, идентична ли картинка реальности на земле. Чтобы убедиться в этом, они искали "основную истину", посещая определенные места и сравнивая их со сделанными со спутника снимками.

С точки зрения машинного обучения «чистая правда» часто рассматривается как золотой стандарт и относится к качественным данным обучения, которым должны соответствовать данные. Первоначально отрасль добивалась прогресса путем частых проб и ошибок для достижения желаемых результатов в машинном обучении. Сегодня нейронные сети могут учиться и совершенствоваться самостоятельно. Вот почему качество обучающих данных абсолютно первично, поскольку это единственный вход в алгоритм.

Стандартизация уровней качества аннотации данных отсутствует, и во многих случаях наборы данных не отражают достоверную информацию. Часто возникают такие ошибки, как пропущенные или фантомные объекты, несовместимые метки (пешеходы, включая и не включающие переносимые объекты), нечеткие границы классов, систематические ошибки маркировки, неточные рамки (ошибки плотности и смещения) или плохо определенные требования (составные классы).

Но насколько это влияет на алгоритмы машинного обучения?

Мы установили наш эксперимент с алгоритмом Fast_rcnn_resnet101_coco, предварительно обученным на COCO для воспроизводимых результатов: (Tensorflow Object Detection API).

Мы обучили его на трех разных наборах данных, чтобы показать влияние некачественных обучающих данных:

  • Оригинальный Pascal VOC (http://host.robots.ox.ac.uk/pascal/VOC/)
  • VOC Паскаля с искаженными рамками: смещение центра [-0,08; 0,08] и шкала между [0,92; 1.08] исходного размера коробки; отныне называется VOC0.08
  • VOC Паскаля с искаженными рамками: смещение центра [-0,13; 0,13] и шкала между [0,87; 1.13] исходного размера коробки; отныне называется VOC0,13

Коэффициенты сдвига и масштабирования выбираются из равномерного распределения в заданных диапазонах. Пересечение через Union будет обозначено как IoU, и следующие результаты:

Удерживая IoU на уровне 0,5, мы можем увидеть потерю точности на 3% при небольшом отклонении + - 0,08% и 8% при разрешении более высокого диапазона шума. Когда мы смотрим на результаты с более избирательным IoU, равным 0,8, MAP резко уменьшилась, что сделало данные непригодными для использования.

Это ясно показывает, что улучшение локализации боксов будет иметь большое значение для повышения производительности идентичных в остальном сетей. Это еще один важный аспект машинного обучения, по которому проводится недостаточно исследований. Однако этот эксперимент ограничен измерениями IoU и mAP. Интересно выяснить, вызвано ли снижение mAP плохой классификацией, плохой локализацией или обоими этими факторами.

Мы в понимании.ai обеспечиваем высокие стандарты качества данных и поэтому реализовали длинный конвейер для удаления возможных ошибок и несоответствий в аннотациях. Благодаря нашей комбинации экспертов по маркировке, поддерживаемой алгоритмами машинного обучения, мы предлагаем ускоренный процесс аннотации (предложение алгоритма уточняется экспертами-людьми) и обеспечение качества (каждое изображение проверяется экспертом-человеком). Мы уже можем предлагать аннотации в несколько раз быстрее, чем традиционные методы, и, таким образом, можем масштабировать до миллионов изображений.