Самое простое объяснение, которое вы можете найти

1. Введение

1.1 Эта статья для вас, если:

  • Вы знакомы с ценностями Шепли, но до сих пор не понимаете, что это такое и как они работают
  • Вы ищете самое простое возможное объяснение

1.2 Структура статьи

  • В главе Определение объясняется, что такое значения Шепли и как они работают.
  • В главе Простой пример расчета значений Шепли будет показан самый простой пример, из которого вам все станет ясно.
  • В главе Как значения Шепли используются в объяснимости моделей машинного обучения, объясняется, как значения Шепли используются в контексте машинного обучения.

2 Определение

Во-первых, начнем с определения:

  • Ценности Шепли пытаются ответить на один вопрос: если существует коалиция участников, которые работали вместе и произвели определенный результат, каков вклад каждого участника в конечный результат?
  • Чтобы ответить на этот вопрос, подход Shap вводит по одному актеру за раз, чтобы увидеть, как это влияет на конечный результат. Он делает это, используя все возможные порядки актеров.
  • Каждое изменение в конечном результате приписывается введенному действующему лицу. В итоге все изменения, вызванные акторами, усредняются, в результате чего получаются значения Шепли

До сих пор не ясно, да? Это потому, что для понимания определения требуется какой-нибудь простой пример, который все прояснит.

3 Простой пример расчета значений Шепли

3.1 Введение

  • Допустим, есть 2 участника — предметный эксперт и инженер по машинному обучению, и им нужно создать прогностическую модель, которая должна принести пользу компании.
  • Работая вместе (в коалиции), они создали модель, которая принесла компании 10 тыс. прибыли. Каков вклад каждого человека в эти 10 тысяч прибыли?
  • Чтобы ответить на этот вопрос, давайте представим актеров по одному и посмотрим, как это повлияет на конечный результат.

3.2 Расчет вклада участников во всех порядках

Заказ 1 (эксперт по предметной области, инженер машинного обучения)

  • Во-первых, вводится Domain Expert. Поскольку он работает один, это приведет к использованию механизма правил вместо модели прогнозирования. Его значение 7К, поэтому вклад Domain Expert 7К.
  • Затем был представлен инженер по машинному обучению. С помощью Domain Expert он смог спроектировать отличные функции, в результате чего модель принесла компании 10 тысяч долларов. Вот почему вклад ML Engineer — 3K

Заказ 2 (инженер машинного обучения, предметный эксперт)

  • Во-первых, представлен ML Engineer. Поскольку он работал один, это приведет к модели машинного обучения, в которой не используются отличные прогностические функции. Стоимость такой модели 6К, поэтому вклад ML Engineer тоже 6К.
  • Затем вводится эксперт по домену. Работая вместе с ML Engineer, они создали отличную модель, которая в целом принесла компании 10 тысяч. Вклад доменного эксперта — 4K

3.3. Совокупный вклад участников для получения ценности Шепли

Теперь посчитаем средний вклад по всем заказам для ML Engineer и Domain Expert:

  • Эксперт домена: в среднем 7 КБ и 4 КБ = 5,5 КБ
  • Инженер машинного обучения: среднее значение 3 000 и 6 000 = 4,5 000.

Итак, вклад Domain Expert и ML Engineer, т.е. их значения Шепли, составляют 5,5K и 4,5K соответственно. Видите, теперь все намного яснее, не так ли?

4 Как значения Шепли используются в моделях машинного обучения

  • В этом случае актеры — это функции, а результат — оценка модели.
  • На первом этапе рассчитывается оценка базовой модели. Это оценка, когда нет информации обо всех функциях.
  • Затем все функции вводятся по одной, что меняет оценку модели. Дельта, на которую изменилась оценка модели, относится к введенному признаку.
  • Как только функции были введены с использованием всех порядков, их вклады усредняются. Это приводит к значениям Шепли для каждой функции
  • Существует библиотека Python под названием Shap, которая делает это эффективно. Значения Шепли довольно дороги для вычисления, однако библиотека Shap выигрывает у вас много времени, аппроксимируя значения Шепли.

5. Вывод

  • В этой статье вы увидели определение значений Шепли, простейший возможный пример их расчета и их использование в области машинного обучения.
  • Надеюсь, теперь понятно, что такое значения Шепли и как они рассчитываются

Если вам нравятся мои статьи, пожалуйста, подпишитесь