Фундаментальным понятием в китайской философии и культуре является Инь и Ян - вера в то, что гармония достигается, когда противоположности сосуществуют и разделяют элементы друг друга. Это можно интерпретировать как предположение, что цель и добро можно найти даже в таких вещах, как наводнения, комары и - в мире искусственного интеллекта - в примерах противостояния.
Противоречивые примеры - это возмущения, добавленные к изображению, которые невидимы для человеческого глаза, но могут обмануть систему компьютерного зрения и заставить их неправильно классифицировать объекты, что может привести, например, к тому, что автономный автомобиль проехал через знак остановки. Примеры противоборства - это проклятие для исследователей, создающих нейронные сети, которые доставляют большую часть современного продвинутого ИИ.
Теперь команда из Google и Университета Джона Хопкинса заявляет, что нашла серебряную подкладку для состязательных примеров. Вместо того, чтобы защищать сверточные сети от них, исследователи вводят новую усовершенствованную схему обучения противников, AdvProp, которая рассматривает состязательные примеры как дополнительные обучающие примеры для повышения точности моделей классификации изображений.
Исследователи осознали положительный потенциал состязательных примеров, когда они обучили модель среднего размера EfficientNet-B3 и крупномасштабную модель EfficientNet-B7 на наборе данных ImageNet. Они обнаружили, что, хотя обучение исключительно на примерах противоборства приводило к снижению производительности, обучение как с использованием состязательных примеров, так и с чистыми изображениями могло бы улучшить производительность сети на чистых изображениях, если эти состязательные примеры можно использовать должным образом. Это побудило команду задуматься, можно ли извлечь ценные особенности из состязательных примеров и использовать их для повышения производительности модели.
Соавтор статьи Куок Ле - уважаемый исследователь ИИ, стоящий за Google AutoML. Он написал в Твиттере, что AdvProp - это странный трюк, который позволяет использовать состязательные примеры для уменьшения переобучения модели. (Основная) идея - использовать две BatchNorm, одну для обычных примеров, а другую - для состязательных примеров.
Существовали и предыдущие подходы к улучшению моделей зрения с использованием состязательных примеров во время обучения. Эти совместно обученные модели с чистыми изображениями и состязательными примерами без различия. В новом исследовании исследователи ввели отдельную пакетную норму для состязательных примеров, чтобы отразить различные лежащие в основе распределения. Исследователи говорят, что их метод решает проблему несоответствия распределения «за счет явного разделения статистики пакетов на уровнях нормализации, что позволяет лучше поглощать как злонамеренные, так и чистые функции».
В экспериментах AdvProp значительно превзошел базовый уровень обучения во всех сетях, а также во всех сложных наборах данных искаженных изображений. AdvProp повысил более крупную обученную сеть EfficientNet-B8 до ультрасовременной точности 85,5% на ImageNet без каких-либо дополнительных данных.
Исследователи говорят, что AdvProp преуспевает, позволяя моделям изучать более богатые внутренние представления и предоставляет им глобальную информацию о формах для лучшей классификации, а также повышает надежность. Они также отмечают, что повышение точности более значимо, когда модель изображения больше.
Ле говорит, что ключевое нововведение - использование двух BatchNorms - позволяет преодолеть «загадочное падение точности», которое преследовало предыдущие попытки использовать состязательные примеры для увеличения объема данных. Он видит возможные будущие приложения для AdvProp помимо распознавания изображений в таких областях, как язык и структурированные данные.
Статья Примеры состязательности, улучшающие распознавание изображений находится на arXiv.
Журналист: Фаню Цай | Редактор: Майкл Саразен
Мы знаем, что вы не хотите пропустить ни одной истории. Подпишитесь на наш популярный Synced Global AI Weekly , чтобы получать еженедельные обновления AI.
Нужен всесторонний обзор прошлого, настоящего и будущего современных исследований в области искусственного интеллекта? Отчет Тенденции развития технологий искусственного интеллекта вышел!
Вышел Отчет об адаптивности AI для публичной компании Fortune Global 500 за 2018 год!
Приобретите отчет в формате Kindle на Amazon.
Подайте заявку на участие в Партнерской программе Insight, чтобы получить бесплатный полный отчет в формате PDF.
