Самое простое объяснение, которое вы можете найти
1. Введение
1.1 Эта статья для вас, если:
- Вы знакомы с ценностями Шепли, но до сих пор не понимаете, что это такое и как они работают
- Вы ищете самое простое возможное объяснение
1.2 Структура статьи
- В главе Определение объясняется, что такое значения Шепли и как они работают.
- В главе Простой пример расчета значений Шепли будет показан самый простой пример, из которого вам все станет ясно.
- В главе Как значения Шепли используются в объяснимости моделей машинного обучения, объясняется, как значения Шепли используются в контексте машинного обучения.
2 Определение
Во-первых, начнем с определения:
- Ценности Шепли пытаются ответить на один вопрос: если существует коалиция участников, которые работали вместе и произвели определенный результат, каков вклад каждого участника в конечный результат?
- Чтобы ответить на этот вопрос, подход Shap вводит по одному актеру за раз, чтобы увидеть, как это влияет на конечный результат. Он делает это, используя все возможные порядки актеров.
- Каждое изменение в конечном результате приписывается введенному действующему лицу. В итоге все изменения, вызванные акторами, усредняются, в результате чего получаются значения Шепли
До сих пор не ясно, да? Это потому, что для понимания определения требуется какой-нибудь простой пример, который все прояснит.
3 Простой пример расчета значений Шепли
3.1 Введение
- Допустим, есть 2 участника — предметный эксперт и инженер по машинному обучению, и им нужно создать прогностическую модель, которая должна принести пользу компании.
- Работая вместе (в коалиции), они создали модель, которая принесла компании 10 тыс. прибыли. Каков вклад каждого человека в эти 10 тысяч прибыли?
- Чтобы ответить на этот вопрос, давайте представим актеров по одному и посмотрим, как это повлияет на конечный результат.
3.2 Расчет вклада участников во всех порядках
Заказ 1 (эксперт по предметной области, инженер машинного обучения)
- Во-первых, вводится Domain Expert. Поскольку он работает один, это приведет к использованию механизма правил вместо модели прогнозирования. Его значение 7К, поэтому вклад Domain Expert 7К.
- Затем был представлен инженер по машинному обучению. С помощью Domain Expert он смог спроектировать отличные функции, в результате чего модель принесла компании 10 тысяч долларов. Вот почему вклад ML Engineer — 3K
Заказ 2 (инженер машинного обучения, предметный эксперт)
- Во-первых, представлен ML Engineer. Поскольку он работал один, это приведет к модели машинного обучения, в которой не используются отличные прогностические функции. Стоимость такой модели 6К, поэтому вклад ML Engineer тоже 6К.
- Затем вводится эксперт по домену. Работая вместе с ML Engineer, они создали отличную модель, которая в целом принесла компании 10 тысяч. Вклад доменного эксперта — 4K
3.3. Совокупный вклад участников для получения ценности Шепли
Теперь посчитаем средний вклад по всем заказам для ML Engineer и Domain Expert:
- Эксперт домена: в среднем 7 КБ и 4 КБ = 5,5 КБ
- Инженер машинного обучения: среднее значение 3 000 и 6 000 = 4,5 000.
Итак, вклад Domain Expert и ML Engineer, т.е. их значения Шепли, составляют 5,5K и 4,5K соответственно. Видите, теперь все намного яснее, не так ли?
4 Как значения Шепли используются в моделях машинного обучения
- В этом случае актеры — это функции, а результат — оценка модели.
- На первом этапе рассчитывается оценка базовой модели. Это оценка, когда нет информации обо всех функциях.
- Затем все функции вводятся по одной, что меняет оценку модели. Дельта, на которую изменилась оценка модели, относится к введенному признаку.
- Как только функции были введены с использованием всех порядков, их вклады усредняются. Это приводит к значениям Шепли для каждой функции
- Существует библиотека Python под названием Shap, которая делает это эффективно. Значения Шепли довольно дороги для вычисления, однако библиотека Shap выигрывает у вас много времени, аппроксимируя значения Шепли.
5. Вывод
- В этой статье вы увидели определение значений Шепли, простейший возможный пример их расчета и их использование в области машинного обучения.
- Надеюсь, теперь понятно, что такое значения Шепли и как они рассчитываются
Если вам нравятся мои статьи, пожалуйста, подпишитесь