Машинное обучение уже давно стало модным словом и известно почти всем, кто работает в технологической отрасли. Это довольно старая идея, которая в настоящее время доминирует почти во всех областях промышленности и исследований, чтобы лучше моделировать и понимать мир и получать более глубокое представление почти во всех областях, начиная с человеческого тела, физического мира и заканчивая космосом и многими другими областями. Но критикам и многим другим трудно понять, как модели машинного обучения работают и принимают решения, и часто считают чем-то загадочным. Это связано с тем, что модели машинного обучения день ото дня становятся все более и более сложными, что затрудняет их объяснение и отладку, и поэтому их часто называют моделями «черного ящика».

Чтобы демистифицировать эти сложные модели черного ящика, исследователи ввели концепцию под названием Интерпретируемое машинное обучение. Это позволяет отраслям и предприятиям, таким как медицина и финансы, доверять этим моделям. Важно доверять моделям машинного обучения, поскольку предприятия все больше и больше зависят от них в создании отличных продуктов и услуг, приносящих пользу людям во многих отношениях. Интерпретируемость позволяет человеку понять причину решения, принятого моделью. Поэтому целью исследователей и разработчиков программного обеспечения должно быть не только создание высокопроизводительных моделей, но и моделей с более высокой интерпретируемостью, что облегчает понимание прогнозов модели. Интерпретируемость включает в себя — понимание, отладку и проверку прогнозов модели ML, что также гарантирует, что модель не будет предвзята к определенному классу прогнозов, и порождает систему для справедливого принятия решений.

Почему интерпретируемость важна?

В прежние времена инженеры по машинному обучению учитывали только производительность моделей, но не интересовались, как работает модель и как был сделан прогноз. Но в настоящее время это стало важным в реальных сценариях, таких как — в автомобилях с автоматическим управлением, где нам нужно знать, правильно ли модель определяет дорожные сценарии для предотвращения несчастных случаев, или в отраслях здравоохранения, где крайне важно идентифицировать рак кожи и небольшой ошибка может быть разрушительной. Есть также сценарии, в которых небольшая ошибка может не привести к серьезным последствиям, например, система рекомендаций фильмов. Это означает, что в некоторых случаях того, что предсказывает модель, недостаточно, нам также нужно знать, как она предсказывает, потому что правильный прогноз решает проблему лишь частично.

Тем не менее, когда мы говорим, что модель интерпретируема, это означает, что она должна быть способна изучать связь между переменными и результатами и должна быть полезной для выработки гипотез, которые ученые могут проверить в реальном мире. Интерпретируемость модели дает нам представление о том, как модели могут вести себя в новой среде, а не в среде обучения. В некоторых случаях изменение среды происходит из-за естественного следствия данных или из-за развертывания модели. Чтобы гарантировать, что решения, принимаемые моделями, справедливы и соответствуют этическим стандартам, мы должны иметь возможность интерпретировать результаты.

Интерпретируемость модели можно разделить на 2 широкие категории. Это — прозрачность и апостериорные объяснения. Прозрачность гарантирует, что человек может принимать входные данные и выполнять расчеты модели за разумное время, а каждая часть модели, такая как входные данные, параметры, расчеты, имеет интуитивно понятное объяснение. С другой стороны, апостериорные объяснения — это методы, с помощью которых можно визуализировать то, чему научились модели. Это включает в себя — текстовые объяснения, визуализацию, локальные объяснения, объяснение на примере и т. д. Апостериорные объяснения могут быть удобны для исследования и интерпретируемости, но их нельзя принимать слепо. Они, безусловно, могут улучшить понимание, удобство и доверие к модели, но они не всегда гарантируют объяснение истинного механизма, лежащего в основе работы модели.

Некоторые из хорошо известных библиотек Python для реализации интерпретируемого машинного обучения: LIME, GRADCAM, SHAP, ELI5 и т. д. LIME расшифровывается как Local Interpretable Model-Agnostic Explanations. Здесь локальный означает, что он визуализирует то, от чего сеть зависит локально, что полезно, когда сложно дать глобальные объяснения.

На изображении ниже показана визуализация LIME для набора данных гендерной классификации от kaggle, обученного с помощью наивного байесовского классификатора.

Кроме того, GRADCAM — это хорошо известная библиотека Python, объясняющая, на что обращает внимание сверточная сеть. Они создают карты активации классов, используя градиенты оценки классификации по отношению к окончательной карте сверточных признаков для обнаружения частей входного изображения, которые вносят наибольший вклад в оценку классификации.

На изображении ниже показана индивидуальная визуализация GRADCAM для собаки и кошки, поясняющая вывод прогноза.

Многие исследовательские работы в настоящее время используют интерпретируемое машинное обучение для создания доверия и прозрачности в своих моделях, что ведет к новой эре исследований машинного обучения, поскольку мы получаем больше понимания о том, как работают такие модели, как глубокая архитектура CNN, и как каждый компонент модели вносит свой вклад. к предсказанию. В заключение мы можем сказать, что интерпретируемость в настоящее время является наиболее востребованным методом в исследованиях машинного обучения, поскольку именно так модели могут быть проанализированы людьми для реальных объяснений. Хотя исследования интерпретируемости достигли огромного прогресса, необходимо провести дополнительные исследования, чтобы открыть новое измерение в этой области.

Это все с сегодняшнего дня. Спасибо, что прочитали мою статью. Это было большое путешествие со всеми вами. Большое спасибо за поддержку, следите за мной и подписывайтесь, чтобы получать мгновенные уведомления о моей следующей статье. Увидимся в следующий раз. Привет :)