Сверточные нейронные сети (CNN) сломаны, но на недавней конференции ICLR, наконец, появились некоторые подходы к их исправлению. Недавним примером проблем CNN стала демонстрация состязательной атаки на автономное вождение¹, при которой небольшие маркеры на дороге могли заставить автономное транспортное средство свернуть на встречное движение. С тех пор, как Иэн Гудфелло привел пример ² незаметного фонового шума, заставляющего CNN неверно классифицировать изображения, количество случаев враждебных атак на нейронные сети увеличивалось.

Папернот и др. Обнаружили, что состязательные атаки могут передаваться на разные архитектуры нейронных сетей, что позволяет использовать атаки «черного ящика», когда злоумышленник не имеет доступа к используемой модели. Атали и др. Продемонстрировали, что состязательные атаки работают и на видео, ошибочно классифицируя фигурку черепахи, напечатанную на 3D-принтере, как винтовку. Браун и др. Создали наклейку, которая затмевает изображение идеального банана, чтобы заставить CNN думать, что это тостер, несмотря на то, что наклейка на самом деле не похожа на тостер.

Состязательные атаки не могут быть проблемой для CNN, не являющихся объектами преднамеренного обмана. Однако второй способ нарушения работы CNN - это общая хрупкость распознавания CNN, которая влияет на большее количество CNN. Азулай и др. Исследовали, как смещение даже нескольких пикселей в изображении может вызвать неправильную классификацию CNN, а Гейрхос и др. Показали, что низкий уровень шума в изображении, например дождь или снег, может эффективно ослепить CNN.

Форма будущего

Гейрхос и др. Нашли первый шаг к исправлению CNN. Изучая, как CNN идентифицируют изображения, они обнаружили, что на CNN в основном влияет текстура объекта, а не его форма. Это контрастирует с человеческим восприятием, на которое больше всего влияет форма. Гейрхос и др. Создали новый набор данных под названием Stylized-ImageNet, который не позволяет CNN использовать текстуру для классификации изображений, используя несколько разных стилей для рандомизации текстуры изображений. Это заставляет CNN изучать особенности формы, а не текстуры. Гейрхос и др. Подтвердили, что это значительно повысило устойчивость моделей, обученных в Stylized-ImageNet, ко многим видам шума - размытости, снегу и т. Д.

Гейрхос и др. Не обнаружили, что модели, обученные в Stylized-ImageNet, более устойчивы к атакам «белого ящика», которые используют саму модель для разработки атак. Было бы интересно посмотреть, как выглядели состязательные атаки, основанные на этих моделях. Могут ли они обмануть людей, поскольку они, вероятно, изменят форму? Я подозреваю, что обученные модели Stylized-ImageNet будут более устойчивы к состязательным атакам, созданным из моделей, обученных на стандартном наборе данных ImageNet.

При рассмотрении компромиссов при обучении CNN противостоянию враждебным атакам Ципрас и др. Также обнаружили, что модели, обученные на основе состязательности, больше соответствуют человеческому восприятию. Чтобы создать эти надежные модели, Ципрас и др. Изменили обучающие изображения, чтобы найти входные изображения наихудшего случая, которые все еще были бы похожи на исходное изображение. Этот процесс поиска изображения наихудшего случая значительно увеличивает время обучения. Что еще более важно, они обнаружили, что состязательное обучение сделало восприятие модели более человеческим. В самом деле, людям может быть сложно правильно классифицировать примеры состязательных атак из надежных моделей.

Я не верю, что состязательные атаки являются проблемой сами по себе. В конце концов, каждый (включая нейросети, так что «все?») Может ошибаться. Проблема с состязательными атаками на основанные на текстуре CNN заключается в том, что состязательные атаки незаметны и необъяснимы для людей. Если состязательные атаки близки к тому, что может обмануть человека, тогда мы понимаем, как могла быть сделана эта ошибка, и можем легче обнаруживать попытки обмануть CNN.

Работа Ванга и др. Еще больше расширила возможности CNN на основе формы. Они использовали другой подход к удалению текстуры, включая Матрицу совместной встречаемости на уровне серого (GLCM) для удаления повторяющихся текстовых шаблонов. Для моделей, обученных на этих сглаженных изображениях, они обнаружили большую способность обобщения на нефотографические изображения, такие как мультфильмы или искусство.

Но почему?

Таким образом, CNN на основе формы имеют ряд преимуществ перед CNN на основе текстуры. Они более устойчивы к шуму, лучше способны обобщаться на другие стили изображений, и когда они действительно терпят неудачу, их ошибки сравнимы с ошибками человека. Но почему люди больше внимания уделяют формам? С эволюционной точки зрения устойчивость к шуму была бы одной из важнейших причин восприятия, основанного на форме. Кроме того, глядя на самые первые существовавшие враждебные атаки, животным, использующим камуфляж, было бы легче изменить свой цвет или текстуру, например, у мотылька, развивающуюся в виде коры, вместо изменения своей формы.

Итак, в свете этих преимуществ, почему CNN не извлекли уроки из форм естественным образом? По сути, CNN находят самый простой способ выполнить свою работу. Я подозреваю, что распознать форму кошки сложнее, чем распознать кошачью шерсть. Идентификация текстуры усиливает способность CNN выполнять массивные параллельные вычисления по многим точкам изображения.

Следующие шаги

Итак, теперь у нас есть исправление для CNN - сделать их основанными на форме. Но как? Мы видели два подхода. Гейрхос и др. И Ван и др. Изменили наборы данных, чтобы удалить текстовую информацию. Преимущество этого состоит в том, что требуется изменить набор данных только один раз, и несколько моделей могут быть обучены на новом наборе данных. Однако это может снизить точность, поскольку удаление текстуры разрушительно, и для распознавания некоторых объектов может потребоваться текстура. Например, пазл может иметь изображение любой формы, но его можно узнать только по текстуре границ между частями пазла.

Соревновательное обучение, используемое Ципрасом и др., - это еще один подход, который оставляет данные нетронутыми, но вместо этого значительно увеличивает необходимое время обучения, так как каждое изображение должно быть возмущено, чтобы найти наихудшее, но похожее изображение для обучения.

Вместо изменения данных или процесса обучения в статье Лейно и др. О снижении систематической ошибки CNN показан третий способ - изменение архитектуры самой сети. Они обнаружили, что CNN могут переоценить многие мелкие черты изображений, что отрицательно сказывается на их производительности. Приведенный пример касался классификации человека на кухне как женщины с более высоким соотношением, чем указано в наборе обучающих данных. Как будто телеканал CNN смотрит на фотографию человека на кухне и говорит: «Конечно, у этого человека есть борода, но посмотрите на все эти тарелки, еду и кухонные принадлежности! Это должна быть женщина ». Это чрезмерное накопление небольшого веса может быть похоже на чрезмерное внимание к текстуре, а не к формам.

Лейно и др. Смогли противостоять этому подавляющему эффекту малых весов в глубоких сетях, используя классного эксперта, чтобы сообщить сети, на какие веса следует обращать внимание, или отфильтровав «слабые» веса в пользу из более сильных. Учитывая, что основное внимание в исследовании Leino et al. Уделялось противодействию усилению смещения, это необходимо протестировать, чтобы увидеть, дает ли он эффект, аналогичный обычному состязательному обучению, с меньшими вычислительными затратами.

Хотя состязательное обучение или изменение наборов данных для удаления текстуры действительно работает, я считаю, что поиск подхода к сетевой структуре на основе формы позволит создать CNN следующего поколения. Какие у вас есть идеи по созданию CNN с естественной ориентацией по форме?

использованная литература

  1. Экспериментальное исследование безопасности Tesla Autopilot, Tencent Keen Security Lab, 2019.
  2. Объяснение и использование состязательных примеров, Гудфеллоу и др., ICLR 2015.
  3. Переносимость в машинном обучении: от феномена к атакам черного ящика с использованием образцов соперничества, Николас Папернот и др., 2016.
  4. Синтез надежных примеров состязательности, Атали и др., 2017.
  5. Adversarial Patch, Браун и др., 2018.
  6. Почему глубокие сверточные сети так плохо обобщаются на небольшие преобразования изображений?, Азулай и др., 2018.
  7. Сравнение глубоких нейронных сетей с людьми: распознавание объектов при ослаблении сигнала, Гейрхос и др., NeurIPS 2018
  8. CNN, обученные ImageNet, смещены в сторону текстуры, увеличение смещения формы повышает точность и надежность, Гейрхос и др., ICLR 2019.
  9. Надежность может противоречить точности, Ципрас и др., ICLR 2019.
  10. Изучение надежных представлений путем проецирования поверхностной статистики, Ван и др., ICLR 2019.
  11. Усиление смещения по признакам, Лейно и др., ICLR 2019.