Одним из препятствий, которые мы видим на пути внедрения машинного обучения для принятия важных решений, является доверие. Нам часто задают вопрос: «Почему мы должны доверять модели?». Не имеет значения, насколько хорошо работает решение для машинного обучения, если пользователи не доверяют его результатам.

Модели доверия и науки о данных

Если ему не доверяют, он не будет использоваться.

Наша способность помочь людям доверять моделям машинного обучения так же важна, как и наша способность создавать и запускать эффективные модели.

Вы можете начать укреплять доверие, проверив способность модели предсказывать известный результат. Например, если вы прогнозируете продажи для портфеля продуктов, вы можете показать, насколько точно модель может предсказать продажи на прошлой неделе, если она видит данные, доступные только до этого периода.

Этот подход отлично подходит для построения доверия к результатам модели, прежде чем она начнет делать какие-либо реальные прогнозы. Но что происходит, когда модель работает и дает прогноз продаж (для одного конкретного продукта) в один конкретный месяц, который «кажется неправильным»; не проходит «нюхательный тест»? Здесь исторические показатели точности, как правило, не имеют большого значения. Чтобы получить доверие к конкретному прогнозу, вам нужно сделать то же самое, что и человеку, делающему этот прогноз, - вам нужно объяснить свою работу; проведите аудиторию по пути, который вы предприняли, чтобы прийти к этому предсказанию. «Думаю, в этом месяце мы продадим больше барбекю, чем обычно, потому что прогноз погоды на следующие несколько выходных выглядит отлично»

Как мы можем этого добиться с помощью машинного обучения? Объяснимый ИИ (XAI) сейчас является горячей темой, и она направлена ​​на решение ряда проблем, связанных с непрозрачностью ИИ и, в частности, моделей машинного обучения. Один из используемых нами подходов - SHAP (объяснения по аддитиву Шэпли). Прежде чем мы углубимся в это, стоит кратко познакомиться с основами машинного обучения с учителем.

Машинное обучение с учителем

Машинное обучение с учителем - это семейство подходов к машинному обучению, которые изучают связи между входными и выходными данными. Это делается путем анализа набора обучающих данных, которые содержат входные данные и ответы (известные выходные данные для заданных входных данных). В нашем примере прогнозирования продаж это могут быть исторические данные о покупательских тенденциях, поведении клиентов и т. Д., А также фактические продажи. Обучение модели - это процесс, посредством которого модель изучает правила, которые определяют, как входные данные (все различные точки данных) влияют на выход (количество продаж продукта X). После обучения производственная модель может применять эти изученные правила к новому (ранее невиданному) набору входных данных и генерировать прогнозируемые результаты. Франсуа Шоле прекрасно резюмирует это на этой диаграмме:

Входные данные в модели машинного обучения - это набор «функций», которые представляют поддающиеся количественной оценке элементы бизнес-проблемы, которые могут повлиять на результат. В нашем примере с барбекю наши функции, используемые для прогнозирования того, сколько мы можем продать завтра, могут включать: прогнозы погоды на следующие несколько дней; день недели; месяц в году; и исторические данные о продажах.

Эффективность модели в решающей степени зависит от того, насколько репрезентативны обучающие данные для невидимых данных. При значительном изменении операционных входных данных модель вряд ли будет работать хорошо.

ФОРМА

Вернемся к SHAP.

SHAP сообщает нам о влиянии каждой функции на каждый прогноз и обычно визуализируется в виде диаграммы, как в примере ниже:

Каждая строка представляет функцию, которую модель использовала для составления прогнозов, а каждая точка в строке представляет прогноз (например, прогноз продаж определенного продукта).

Положение точки в строке показывает, насколько эта функция повлияла на прогноз: от значительного отрицательного воздействия в крайнем левом углу до отсутствия воздействия в центре до значительного положительного воздействия в крайнем правом углу. Цвет точки представляет ценность функции для этого конкретного прогноза. Поначалу может быть немного сложно понять, вот прогнозы продаж трех разных продуктов на следующей неделе:

Визуализация SHAP - отличный способ получить макроуровневую картину относительного влияния различных функций на прогнозы. Но именно данные, стоящие за графиком, действительно ценны для построения доверия к вашей модели. Он предоставляет информацию для подтверждения любого прогноза - он объясняет работу. Это способ модели сказать: «Мой прогноз высоких продаж барбекю в первую очередь связан с положительным влиянием прогноза высокой средней температуры на следующие две недели».

Эта прозрачность не только укрепляет доверие, объясняя ее работу, но и позволяет более тщательно изучить поведение модели. Это может выявить действительно плохое (например, заведомо неверное с человеческой точки зрения!) Обоснование предсказания. Выявление этих слепых зон позволяет нам исправить их, используя опыт тех, кто ближе всего к проблеме. Это, в свою очередь, является еще одним фактором, увеличивающим доверие. Люди с большей вероятностью будут доверять модели, когда увидят, как их собственный опыт был непосредственно задействован в ее создании.

Своевременное предоставление всей этой информации в нужном формате людям, которые в ней нуждаются, - это тема для другого поста. Если все сделано правильно, информация, предоставляемая SHAP, может помочь обеспечить прозрачность и доверие к тому, что в противном случае было бы прогнозом черного ящика, в результате чего модель, которая используется больше и, таким образом, обеспечивает большую ценность.

Сноски

Если вы хотите узнать больше о SHAP, исходное предложение можно найти здесь: S.M. Лундберг и С.-И. Ли. Единый подход к интерпретации прогнозов модели. 31-я конференция по системам обработки нейронной информации (NIPS 2017) , а это репозиторий SHAP на GitHub .

Чтобы узнать больше об использовании SHAP и его плюсах и минусах, можно прочитать Руководство Кристофа Мольнара по объяснению моделей черного ящика.