Интерпретируемость модели ML важна. Модель ML — это черный ящик, и никто не может быть уверен, что, несмотря на ее хорошую точность, модель работает корректно.
Нам нужно знать, что происходит в черном ящике, и есть несколько методов, которые могут помочь нам понять, почему модель приняла те или иные решения.
Что такое интерпретируемость?
Интерпретируемость — это степень, в которой человек может понять причину решения.
Чем выше интерпретируемость модели ML, тем легче кому-то понять, почему были сделаны определенные прогнозы.
Во-первых, модель должна быть в состоянии ответить на вопрос: «Каким был бы прогноз, если бы входные данные X были другими?»
Во-вторых, ученый должен делать объяснение очень кратким, приводя лишь несколько доводов, даже если мир более сложен.
Глобальные методы, не зависящие от модели
Эти методы описывают среднее поведение режима ML. Глобальные методы часто выражаются в виде ожидаемых значений на основе распределения данных.
Методы глобальной интерпретации, не зависящие от модели:
▸ График частичной зависимости (PDP)
Показывает предельное влияние одной или двух функций на прогнозируемый результат модели ML. PDP может показать, является ли связь между целью и функцией линейной, монотонной или более сложной.
➕ PDP легко внедрить.
➕ Если признаки не коррелируют друг с другом, PDP показывает, как изменяется средний прогноз в наборе данных при изменении j-го признака.
➖ Максимальное количество признаков в частичной зависимости равно двум, поскольку человек не может представить себе более трех измерений.
➖ Некоторые PDP не показывают распределение функций.
➖ Предположение о независимости функций является самой большой проблемой PDP. Если функции коррелированы, PDP нельзя доверять.
➖ Гетерогенные эффекты могут быть скрыты, поскольку PDP показывает только средние предельные эффекты.
➖ Не обеспечивает достоверной функциональной декомпозиции, т. е. добавление всех PDP всех подмножеств не дает исходной функции.
▸ График накопленных локальных эффектов (ALE)
Накопленные локальные эффекты описывают, как функции в среднем влияют на прогноз модели ML. Графики ALE являются более быстрой и беспристрастной альтернативой PDP. Графики ALE вычисляют различия прогнозов вместо средних значений.
➕ Графики ALE непредвзяты, т. е. они работают, когда признаки коррелируют.
➕ Графики ALE вычисляются быстрее, чем PDP.
➕ Толкование понятно. Графики ALE центрированы на нуле, и можно легко прочитать относительное влияние изменения функции на прогноз.
➕ Обеспечьте функциональную декомпозицию. Всю функцию прогнозирования можно разложить на сумму функций ALE более низкой размерности.
➖ Интерпретация эффекта через интервалы невозможна, если признаки сильно коррелированы.
➖ Если количество интервалов слишком велико, кривая становится шаткой.
➖ Реализация более сложная по сравнению с PDP.
▸ Глобальная суррогатная модель
Цель суррогатной модели состоит в том, чтобы как можно точнее аппроксимировать прогнозы базовой модели и в то же время быть интерпретируемой. Производительность модели черного ящика не имеет значения при обучении суррогатной модели.
Interpretable models: ▸ Linear Regression ▸ Logistic Regression ▸ Decision Trees ▸ RuleFit ▸ Naive Bayes ▸ K-nearest neighbors
➕ Метод суррогатной модели является гибким: можно использовать любую интерпретируемую модель.
➕ С помощью меры R-квадрата легко измерить, насколько хороша суррогатная модель в аппроксимации предсказаний черного ящика.
➖ Суррогатная модель делает вывод о черном ящике, а не о данных, потому что никогда не видит реального результата.
➖ Трудно определить наилучшее отсечение для R-квадрата, чтобы быть уверенным, что суррогатная модель достаточно близка к черному ящику.
➖ Суррогатная модель имеет все свои преимущества и недостатки.
Локальные независимые от модели методы
Методы локальной интерпретации объясняют отдельные предсказания черного ящика.
▸ Локальные интерпретируемые объяснения, не зависящие от модели (LIME)
Именно реализация локальных суррогатных моделей объясняет индивидуальные прогнозы. LIME проверяет, что происходит с прогнозами, когда он вводит вариации данных в модель ML.
LIME генерирует новый набор данных, состоящий из искаженных выборок и соответствующих прогнозов модели черного ящика. Затем на этом наборе данных LIME обучает интерпретируемую модель, которая взвешивается по близости выбранных экземпляров к интересующему экземпляру.
➕ LIME поддерживает пояснения для табличных моделей, классификаторов текста, классификаторов изображений.
➕ LIME генерирует разреженные локальные пояснения.
➕ LIME делает объяснения понятными и простыми в использовании.
➖ Правильное определение окрестности является большой проблемой, когда LIME работает с табличными данными.
➖ LIME взвешивает экземпляры в зависимости от того, насколько они близки к исходному экземпляру. Чем больше нулей в коалиционном векторе, тем меньше вес в LIME.
➖ Нестабильность объяснений, т.е. объяснение двух очень близких моментов сильно различается.
➖ LIME не гарантирует, что прогноз справедливо распределяется между функциями.
▸ Аддитивные пояснения Шейпли (SHAP)
Предположим, что каждое значение признака экземпляра — это игрок в игре, где предсказание — это выигрыш. Игрок может быть отдельным значением функции или группой значений функции. Значения Шепли — метод из теории коалиционных игр, который справедливо распределяет предсказание по функциям и работает для задач классификации и регрессии. Другими словами, значение Шепли — это средний предельный вклад значения признака во всех возможных коалициях.
Shapley values satisfy the properties of: ▸ Efficiency ▸ Symmetry ▸ Dummy ▸ Additivity
SHAP — это метод объяснения отдельных прогнозов, основанный на значениях Шепли, но имеющий свои собственные KernelSHAP, TreeSHAP, важность признаков, сводную диаграмму, диаграмму зависимости…
SHAP’s important properties: ▸ Local accuracy ▸ Missingness. Missing features get zero attribution ▸ Consistency. Shapley values increase as the marginal contribution of the feature value increases.
➕ SHAP имеет прочную теоретическую основу.
➕ Прогноз справедливо распределяется по функциям.
➕ SHAP взвешивает выбранные экземпляры в соответствии с весом, который коалиция получит при оценке значения Шепли.
➕ SHAP обеспечивает глобальную и локальную интерпретацию предсказания модели.
➖ KernelSHAP работает медленно и игнорирует зависимость функций.
➖ Значения Шепли могут быть неверно истолкованы.
➖ SHAP не создает разреженных локальных объяснений.
Заключение
Нельзя недооценивать важность интерпретации моделей машинного обучения.
Какой метод использовать при работе с черным ящиком?
Вы можете использовать все из них, учитывая их спецификацию, преимущества и недостатки.
☼☽✨
