Эта статья продолжает исследование и дизайн исследования «Объяснимое глубокое обучение и визуальная интерпретируемость».
В этом разделе я привожу результаты качественных исследований и важные выводы пользовательского тестирования прототипа, охватывающего несколько итераций в ходе исследования диссертации и разработки прототипа.
Визуальный анализ
Критический вывод исследования подчеркивает, что представления, полученные с помощью моделей распознавания изображений, очень восприимчивы к визуализации, в основном потому, что они являются представлениями визуальных понятий. Я использовал метод локализации изображения и вычисление градиента, чтобы визуализировать соответствующую тепловую карту, которая подтверждает атрибуцию изображения и график активации функции, выделяя изученные представления. Для обоих методов я использую модель VGG16, модель сверточной нейронной сети, обученную на базе данных ImageNet.
Анализ чувствительности
Инструмент DeepViz создает соответствующую тепловую карту в качестве визуального доказательства предсказания класса, которое оправдывает целевой класс, четко выделяя область различения, соответствующую желаемому классу. Этот метод полезен для точного понимания того, какая часть изображения идентифицируется как принадлежащая к определенному классу или категории (имена классов известны VGG16), и, таким образом, позволяет локализовать объекты на изображениях.
На рис. 3.4 показано примерное объяснение, в котором сначала объявляется прогнозируемая метка класса, которая правильно классифицируется как «пчелоед», за которой следует соответствующая тепловая карта, поясняющая, почему модель пришла к такому решению. Тепловая карта релевантности визуализирует важность каждого пикселя в данном изображении, несовместимом с предсказанным классом.
В этом примере клюв и шея пчелоеда являются основой для решения модели. С помощью тепловой карты пользователь может убедиться, что модель работает должным образом. Этот шаг подтвердил первую предпосылку моей гипотезы: применить методы локализации изображения и обнаружения объектов, чтобы определить, какая часть входного изображения больше всего связана с решением о классификации.
Чтобы изучить случаи, когда прогнозируется неверная метка, и определить, какую ошибку допускает сеть, я собрал набор изображений, которые модель VGG16 не может правильно классифицировать. В этом случае, когда пример изображения передается инструменту, показанному на рисунке выше. Модель предсказывает неправильный класс. Входное изображение ошибочно классифицируется как «заяц», когда правильная метка — кошка. Пользователь может понять, почему он предсказал неправильную метку, проверив визуализацию тепловой карты. Здесь модель обнаружила только область хвоста и пропустила другие части изображения кошки. Следовательно, извлечение признаков было неверным.
Чтобы сделать еще один шаг, я разбиваю карту внимания на уровне слоев, чтобы визуализировать локализацию соответствующей области изображения на каждом скрытом слое (рисунок выше). Это помогает тщательно изучить дифференциальный аспект карты внимания по мере того, как она приближается к последнему слою. Пользователи могут нажимать кнопки слоев, чтобы создать тепловую карту, соответствующую этому скрытому слою.
График активации функций
DeepViz визуализирует выходные данные активации промежуточных слоев в виде ориентированного ациклического графа, показывающего, как сеть строит свое внутреннее представление. График разлагает карту активации функции в каждом сегменте на распределение каналов. Инструмент визуализирует только выбранные каналы с учетом необходимой визуализации браузера и вычислений.
Эта визуализация помогает пользователю понять, как последовательные слои сети преобразуют входное изображение. Визуализация промежуточных активаций помогает отображать карты функций, созданные различными слоями свертки и объединения в сети. Пользователь может видеть, что узлы в первом слое в основном обнаруживают ребра, где активации сохраняют большую часть информации из входного изображения.
По мере того, как он продвигается глубже, активация становится очень абстрактной и гораздо менее визуально интерпретируемой. Это связано с тем, что сеть фокусируется на концепциях более высокого уровня, таких как собачье ухо или птичий клюв. Эти высокоуровневые активации несут меньше пространственной информации об изображении и больше информации, специфичной для класса. Это показывает, как входное изображение непрерывно преобразуется на промежуточных уровнях, чтобы удалить ненужную информацию и сохранить полезную информацию, специфичную для целевого класса.
Таким образом, визуализация DeepViz помогла ответить на два важных вопроса:
- Почему сеть решила, что на этом изображении изображена птица-пчелоед?
- Где находится пчелоед на картинке?
В частности, что наиболее интересно отметить, так это то, что область головы четвертой птицы, которая является самой большой из всех шести птиц, сильно активирована: вероятно, именно так сеть может отличить пчелоеда от любого другого. птица.
Пользовательское тестирование
Установив это, затем я оценил, может ли визуализация заставить конечного пользователя доверять модели должным образом. Помогает ли это пользователю доверять модели, основанной на соответствующей тепловой карте, как визуальному доказательству прогноза, сделанного моделью? Для этого эксперимента я провел исследование на людях, в ходе которого пользователи протестировали несколько изображений с помощью инструмента DeepViz, чтобы сравнить визуализацию тепловой карты и прогнозируемый класс для правильной и неправильной классификации.
ЗАКЛЮЧЕНИЕ
Исследования в области глубокого обучения традиционно были сосредоточены на новых алгоритмах, математических моделях, повышении качества и производительности или скорости модели нейронной сети. Я изучал и исследовал боковое направление исследований, которое затрагивает социальные последствия автоматизированных систем принятия решений; а именно, мы внесли свой вклад в повышение понимания и прозрачности процесса принятия решений, реализуемого обученной глубокой нейронной сетью.
Я предложил инструмент визуального исследования для интерпретации визуального классификатора, который обеспечивает визуальное объяснение решения логического вывода. Инструмент ориентирован на неспециалистов и помогает расширить доступ людей к интерактивному инструменту для глубокого обучения. Техника визуализации помогает сделать модель распознавания изображений более прозрачной, предоставляя визуальное объяснение ее прогнозов. Мой прототип помог ответить на два важных вопроса, поставленных в этой исследовательской гипотезе: (i) почему сеть решила, что это изображение содержит определенный объект (ii) где находится этот объект на картинке? Я использовал концепцию тепловой карты, которая позволила лучше понять, что было изучено сетью.
Кроме того, выполнение приложений глубокого обучения полностью на стороне клиента в браузере открыло новые возможности для добавления богатого взаимодействия и взаимодействия с пользователем. С точки зрения пользователя нет необходимости устанавливать какие-либо библиотеки или драйверы. Они могут получить прямой доступ к приложению в своем браузере. Наконец, все пользовательские данные остаются на стороне клиента локально по отношению к пользовательскому устройству, и это помогает поддерживать конфиденциальность приложения.
Таким образом, я представил новую технику объяснения изображений, которая оправдывает предсказание класса визуального классификатора. Этот метод является ступенькой и служит основой для построения более надежной интерпретируемой и объяснимой системы модели. Эта работа — небольшой вклад в создание справедливой, прозрачной и объяснимой системы искусственного интеллекта.
БУДУЩИЕ ПЕРСПЕКТИВЫ
Я считаю, что есть несколько возможностей для расширения и улучшения DeepViz в качестве инструмента визуального исследования для системы глубокого обучения. Дальнейшая работа будет сосредоточена на улучшении DeepViz за счет новых возможностей взаимодействия, сложной визуализации и повышения производительности.
В целом, я вижу огромную возможность внести свой вклад в этот новый и быстро растущий объем исследований в области визуализации глубокого обучения с упором на объяснимость и интерпретируемость, влияние которых охватывает широкий спектр областей. Например, инструмент визуальной аналитики для интерактивного сравнения нескольких моделей для оценки прозрачности и справедливости, визуализации других моделей, например, автокодировщиков, рекуррентных нейронных сетей (RNN) и генеративно-состязательных сетей (GAN), визуализации глубоких сетей в таких областях, как обучение с подкреплением, метаобучение и автоматическое машинное обучение.
Кроме того, существует ряд направлений для будущей работы, таких как создание новых интерпретируемых методов и визуальное представление компонентов в моделях глубокого обучения, разработка богатого визуального интерфейса с инновационными взаимодействиями для обнаружения и передачи более глубокого понимания своей модели, инструмент визуального исследования, который сочетает в себе визуальное представление, новую технику взаимодействия, современную атрибуцию и визуализацию функций.
Есть несколько направлений для достижения прогресса в интерпретируемости глубокого обучения. Я считаю, что пришло время решить вопросы справедливости, прозрачности и подотчетности в технологиях искусственного интеллекта и обеспечить, чтобы предвзятость данных не внедрялась в создаваемые нами системы.
