Глубокие сновидения на последовательных уровнях абстракции. Сверху вниз: входное изображение, conv2–3x3_reduce, inception_4c-1 × 1. Сделано с использованием deepdreamgenerator и изображения из общественного достояния из Йеллоустонского национального парка

Повсеместность глубокого обучения

Современные успехи глубокого обучения отчасти объясняются теоремой универсального приближения, разработанной Георгием Цибенко, Куртом Хорником и другими. Теорема, по сути, утверждает, что нейронная сеть, по крайней мере, с одним скрытым слоем и нелинейной функцией активации, обычно может аппроксимировать произвольные непрерывные функции. В последнее десятилетие использование мощных графических процессоров для обучения глубоких сетей раскрыло потенциал универсальной аппроксимационной теоремы, подпитывая многие новые области бизнеса и исследований. В модели глубокого обучения многие скрытые слои могут быть наложены друг на друга, как восходящая в небо Вавилонская башня, а внутренние представления могут представлять сложные абстракции и иерархии функций. Эти представления могут быть частью модели, предсказывающей что-нибудь из, казалось бы, несущественного, такого как бессмысленные астрофизические сокращения, предпочтения потокового видео и совпадения датировок; к потенциально серьезному: рейтинги кредитного риска, медицинские диагнозы и свидания.

Учитывая их распространенность, как никогда важно понять, как глубокие модели нейронных сетей формируют внутренние представления входных данных и принимают решения. На практике обратное распространение через варианты стохастического градиентного спуска действительно хорошо учитывается в соответствии с обучающими данными, но нет никаких гарантий глобальной конвергенции, а входные данные и процесс обучения часто могут взаимодействовать неожиданным образом.

Https://www.youtube.com/watch?v=tlOIHko8ySg

Недоступность глубоких сетей и их контролируемость

Удивительные способы обучения глубоких сетей привели к тому, что многие стали называть весь процесс обучения и использования нейронных сетей черным ящиком, особенно в популярной прессе. Эти описания могут привести к плохой работе и разочарованию публики, когда модели ведут себя плохо.

Если вы работаете с глубоким обучением, стоит попытаться понять, о чем думают ваши модели. Понимание моделей и четкое прогнозирование их поведения может не только помочь улучшить производительность моделей, но и общественная озабоченность по поводу конфиденциальности и такие нормативные акты, как европейский GDPR, соответственно, поощряют повышенную способность объяснения в общедоступном машинном обучении.

Простые модели, простые визуализации

Когда-то параметры нейронной сети насчитывали от сотен до нескольких тысяч, и прямой контроль активаций нейронов был возможен и потенциально плодотворен. Классической прямой визуализацией активности нейронной сети является диаграмма Хинтона (кто еще?), Которая напрямую отображает положительные и отрицательные активации по размеру и оттенку сетки квадратов.

Визуализация активности отдельных нейронов (с некоторыми другими приемами) в некоторых случаях может быть полезной, например, работа OpenAI Unsupervised Sentiment Neuron или работа Андрея Карпати и др. По визуализации повторяющихся нейронных сетей (связанный блог сообщение , примерно на 3/4 страницы). Однако даже в этих случаях поиск значимо интерпретируемого нейрона - это рыбалка, и большинство нейронов остаются довольно непостижимыми по отдельности.

Придумывая идеи для больших моделей

Вы, наверное, видели какую-то итерацию психоделической техники начального / глубокого сновидения Google. Глубокие сновидения были ранним (2015 г.) ударом по уменьшению таинственности черного ящика нейронных сетей. Используя сеть для все большего улучшения функций, связанных с активацией данного нейрона, можно сгенерировать изображение, чтобы получить некоторое представление о том, как представления и решения формируются в структуре нейронной сети. Это можно было бы антропоморфизировать, как сеть, смотрящую на изображение и спрашивающую: О чем мне напоминает содержимое изображения и как я могу сделать его похожим на это? Применение техники глубокого сна - вот что послужило причиной создания баннера для этой статьи. Применение техники на разных уровнях дает разные уровни абстракции. На заглавном изображении снежного барана, спящего в слое conv2–3x3_reduce, который встречается очень рано в сети, появляются текстуры, похожие на мазки кисти. Это ваши детекторы краев, точек и кривых в разных ориентациях, которые, как правило, распознаются сверточными ядрами на первых нескольких слоях глубокой свёрточной сети. Немного глубже мечтая о слое inception_4c-1 × 1, мы видим вместо этого коллекции функций, связанных с типами классов, используемых для обучения начальной модели, устрашающе наложенными на изображение.

Глубокие сновидения, безусловно, привлекали к себе много внимания и использовались как творческий инструмент для создания красивых образов, но сами по себе глубокие сновидения не дают многого в плане действенных прозрений. Это, возможно, не считая откровения о том, что руки должны расти из гантелей.

Гантели, вырастающие из мускулистых рук из CC BY 4.0 от Google.

Другие методы визуализации, применяемые в нейросетевом компьютерном зрении, включают набор инструментов визуализации функций Джейсона Йосински и др. (Демонстрационное видео), который вы можете опробовать на себе, если вы готовы настроить среду Python с Caffe. Авторы демонстрируют несколько наблюдений, которые в основном подпадают под категорию интересных, таких как нейроны, которые реагируют на лица, текст и морщинистую ткань. Связывание точек от интересных реализаций к практическим выводам - ​​вот где интерпретируемость начинает окупаться за счет затрат времени и инструментов. Более того, это самостоятельная область машинного обучения, удовлетворяющая спрос на исследователей и инженеров, обладающих навыками интерпретируемого машинного обучения. Это полезное дополнение к вашему личному или организационному набору инструментов.

От визуализации к практической утилите

Возможно, наиболее сплоченное направление исследований интерпретируемости глубокого обучения происходит от слияния Криса Олаха, Google Brain и OpenAI. Эта работа, растянувшаяся на несколько лет назад и опубликованная в основном на Distill, построена на концепции глубокого сновидения и визуализации функций для разработки визуализаций на основе оптимизации, а затем доработана для понимания атрибуции с пространственной активацией и недавней публикацией активации. атласы »авторы продемонстрировали понимание уязвимостей на примерах противоборства и странных взаимосвязях функций.

Атласы активации являются последними в серии исследований, которые прогрессируют от простых: функциональных визуализаций активации отдельных нейронов до сложных: активационных атласов, которые представляют собой подвыборку из множества, представляющего все вероятные изображения, с которыми может столкнуться сеть. Изображение изменено по лицензии CC BY 4.0 от Shan Carter, Chris Olah, et al. 2019

Атласы активации частично напоминают родственные пространственные активации с одним существенным отличием. В то время как пространственные активации представляют собой выделение признаков модели для одного изображения, атласы активации формируют карту выделения признаков для всех возможных изображений. Вместо того, чтобы размещать визуализацию характеристик для гибких ушей, восхитительного шума и пушистых лап поверх изображения щенка, например, атлас активации будет располагать самые разные носы животных рядом друг с другом, и в конечном итоге они будут сливаться с другими связанными носами. такие особенности, как мех, уши и хвосты.

Такой целостный взгляд на визуализацию функций нейронной сети позволяет исследовать и прогнозировать поведение модели интересными способами. Наблюдая за близостью признаков, отличающих «аквалангист» от «сноркелинга», с особенностями, которые выглядели так, как будто они принадлежат локомотиву, авторы предположили, что они могли бы включить нашивку с изображения поезда, чтобы обмануть сеть и идентифицировать ныряльщик с аквалангом. Другие примеры враждебности, которые исследовала команда, включали маскировку сковороды под вок с лапшой и серого кита под акулу с помощью бейсбольного мяча.

Все, что вам нужно для приготовления сковороды вок, - это несколько лапш. Изображение использовано по лицензии CC BY 4.0 от Shan Carter, Chris Olah, et al. 2019

Интерпретируемая ценность движется вперед

Подводя итог, можно сказать, что область интерпретируемости значительно расширилась с момента глубокого сна, который начал предлагать действенные идеи. Типы состязательных примеров, созданные с помощью атласов активации, основывались на искусном сочетании визуализации характеристик всей сети и человеческой интуиции. По мере того, как сети глубокого обучения продолжают развертываться в новых областях и находить все большее применение в существующих областях, ожидается, что они будут более подотчетными и будут более предсказуемо надежными. В этой ситуации можно ожидать, что спрос на инструменты интерпретируемости и специалистов-практиков и их ценность будут только расти.

Первоначально опубликовано на https://blog.exxactcorp.com 14 мая 2019 г.