После построения модели машинного обучения есть два основных вопроса, на которые специалисты по обработке данных должны ответить.
- Какова общая логика модели при принятии решений?
- Согласуется ли логика со знанием предметной области, чтобы мы могли уверенно развернуть модель?
Чтобы ответить на эти вопросы, специалисты по обработке данных не только должны понимать поведение модели в целом, но также должны представить логику модели экспертам в предметной области, чтобы увидеть, как модель соотносится со знаниями эксперта.
Ключевой вывод №1
Модели машинного обучения терпят неудачу из-за того, что специалисты по обработке данных не учитывают данные, полученные от экспертов в предметной области, в процессе построения модели.
Итак, экспертам в предметной области и специалистам по данным необходимо сотрудничать (работать в команде), чтобы понять логику модели и решить, является ли логика модели разумной.
Ключевой вывод # 2
Существует три разных уровня объяснения модели, которые действительно нравятся экспертам в предметной области.
- Общее или глобальное объяснение.
- Пояснения на уровне региона или подмножества.
- Пояснения на локальном или построчном уровне.
Объяснения на глобальном уровне
Объяснения на глобальном уровне - это просто совокупность объяснений каждой строки. которые можно найти с помощью SHAP, LIME или объясниться. Есть три сюжета, которые эксперты в предметной области считают действительно интуитивно понятными.
Первый график - это важность функции, и я почти уверен, что специалисты по данным уже знают об этом.
Это показывает, каким функциям модель уделяет больше внимания. Это действительно важно, потому что вы не хотите, чтобы модель придавала низкую важность переменной, которая, по мнению экспертов в предметной области, является важной.
Следующий график называется «Влияние особенностей» и является лишь продолжением графика важности признаков. Это дает нам дополнительное представление о том, является ли средняя важность переменной положительной или отрицательной. Отрицательная важность здесь означает, что большинство значений переменной уменьшит вероятность получения определенного прогноза.
Важно отметить, что некоторые значения переменной могут увеличиваться, а некоторые значения могут снижать вероятность получения определенного прогноза. Вот почему объяснения глобального уровня также включают объяснения функций глобального уровня в форме графика PDP.
Ключевой вывод №3
Эксперты в предметной области могут посмотреть на этот график и проверить, имеет ли для них смысл эта тенденция на уровне функций.
Пояснения на уровне региона
Теперь перейдем к объяснениям на уровне региона, которые основаны на том факте, что модель может вести себя по-разному на разных подмножествах данных.
Используя простой SQL, мы можем определить регион, для которого нам нужно объяснение модели, и скажем, наше подмножество (регион) - ExternalRiskestimate ›85.
Важность функции, влияние функции и PDP также важны для пояснений на региональном уровне.
Когда ExternalRiskEstimate составляет ›85, график важности функций покажет, какие функции наиболее важны. Точно так же график влияния функции покажет элементы, которые являются отрицательно или положительно важными, а PDP покажет, как вероятность получения прогноза изменяется с изменением значения функции.
Пояснения на местном уровне
Наконец, каждый эксперт в предметной области хочет знать, как модель машинного обучения будет работать в различных сценариях.
Ключевой вывод # 4
Специалисты в предметной области хотят что-то, что дает им возможность определять различные сценарии и понимать, как модель соответствует прогнозу.
Ключевой вывод # 5
Допустим, эксперты в предметной области хотят объяснить первую точку данных. Для этого можно использовать два основных метода.
- Местный SHAP / LIME.
- ProtoDash
Допустим, модель дает прогнозы 0, а вероятность получения 0 составляет 0,1. Local SHAP объяснит, как появилась модель с вероятностью 0,1.
SHAP показывает, что переменная ExternalRiskEstimate со значением «61» имеет значение воздействия -0,09, что означает, что эта переменная снизит вероятность получения «0» на 0,09.
С другой стороны, переменная NewFranctionRevolvingBurden со значением «0» имеет значение воздействия 0,04, что означает, что эта переменная увеличит вероятность получения 0 на 0,04.
Добавление всех значений удара, сгенерированных SHAP, даст нам вероятность получения «0» 0,1.
Ключевой вывод №6
Что будет с предсказанием, если мы изменим значение одной переменной? Форма "Что, если", позволяющая воспроизводить переменные воли, чтобы увидеть, как меняется прогноз.
Другой метод пояснений на уровне строк - это ProtoDash. ProtoDash отвечает на действительно важный вопрос. Как модель работает с точками данных, аналогичными точке данных, которую мы хотим объяснить?
Ключевой вывод # 7
Если модель предсказывает что-то другое на схожих точках данных, то с моделью что-то не так.
ProtoDash также может помочь найти похожие точки данных. Эти схожие моменты могут помочь экспертам в предметной области обосновать, почему модель что-то предсказывала. Мы хотим, чтобы модель вела себя согласованно, поэтому эксперты в предметной области были бы очень счастливы, если бы модель давала одинаковые прогнозы для почти одинаковых точек данных.
Вывод
Короче говоря, чтобы убедиться, что модель не даст сбоев в работе, важно убедиться, что модель машинного обучения согласована с пониманием того, как устроен мир, экспертами в предметной области. Успех модели машинного обучения значительно возрастает, если эксперты в предметной области довольны тем, как эта модель работает. Три уровня объяснений - объяснения на глобальном, региональном и местном уровнях - лучшие друзья специалистов по анализу данных.
Вся визуализация в этой статье была создана с использованием объясненияX, которое помогает специалистам по данным объяснять и отлаживать любую модель машинного обучения черного ящика с помощью SHAP, LIME, ProtoDash и Анализ сценария Что, если буквально в одной ссылке кода.
