Объяснение AI: зачем он нам нужен, как это работает и кто выигрывает

Стартапы и традиционные игроки вкладывают огромные суммы денег в ИИ (примерно 35 миллиардов долларов в 2019 году по данным IDC). По мере того, как эти модели искусственного интеллекта становятся все более эффективными, некоторые компании сталкиваются с новой проблемой: они не могут их использовать. Почему? Что ж, большинство этих моделей искусственного интеллекта считаются черными ящиками, а это означает, что невозможно определить, как алгоритм пришел к своему решению. Хотя это может быть нормально для компаний в таких отраслях, как игры или розничная торговля, это определенно неприемлемо для компаний, которые работают в строго регулируемых отраслях, таких как финансовые услуги или здравоохранение. К счастью, появляются многочисленные объяснимые решения, которые помогают компаниям интерпретировать свою модель и сделать метафорический черный ящик немного более прозрачным. В этом посте я собираюсь углубиться в то, почему нам нужна объяснимость ИИ, как работают существующие техники объяснимости, почему инвесторы в восторге от этого и какие компании решают эту проблему.

Кроме того, если вам понравился этот пост и вы хотите, чтобы будущие статьи приходили на ваш почтовый ящик, подпишитесь на мой список рассылки! Хорошо, приступим.

1. Зачем нужна объяснимость ИИ?

Я собираюсь начать с конкретного примера, демонстрирующего проблему объяснимости, а затем уменьшу масштаб, чтобы проиллюстрировать полный масштаб проблемы.

ИИ в финансовых услугах

Одним из наиболее ярких примеров использования ИИ в индустрии финансовых услуг является улучшение моделей кредитного андеррайтинга. Для тех, кто не знаком с финансовым жаргоном, модель кредитного андеррайтинга - это алгоритм, который определяет, должен ли заявитель получить ссуду или нет. Чтобы улучшить свою существующую кредитную модель, банк мог бы (и многие банки создали) алгоритм искусственного интеллекта, который учится на предыдущих решениях о кредитовании. Цель алгоритма - минимизировать безнадежные ссуды и оптимизировать прибыльность.

Чтобы создать эту технологию, банку необходимо (1) выбрать тип алгоритма, который он хочет использовать, (2) изменить этот алгоритм для конкретного случая использования, а затем (3) передать алгоритму огромное количество обучающих данных. Эти данные, вероятно, будут включать пол, возраст, опыт работы, заработную плату и т. Д. Предыдущих заявителей. Они также будут включать информацию о результатах каждого из этих решений о кредитовании. Обладая этой информацией, программа могла бы начать прогнозировать, какие кандидаты являются «достойными кредита». Поначалу алгоритм, вероятно, справился бы ужасно; тем не менее, он продолжит извлекать уроки из каждого результата и, в конечном итоге, уменьшит количество безнадежных ссуд, которые выдает банк. Тем самым это сэкономит банку значительную сумму денег, позволив ему выдавать новые ссуды по более привлекательным ставкам. Это позволит банку привлечь больше соискателей и значительно расширить клиентскую базу.

Так в чем проблема? Как я упоминал ранее, проблема в том, что алгоритм банка, скорее всего, представляет собой «черный ящик», а это означает, что банк не может объяснить, почему он одобрил одного заявителя, но отклонил другого. Это серьезная проблема, особенно если заявитель считает, что ему отказали на основании расы, пола или возраста. Если заявитель обвинит банк в алгоритмической предвзятости, это может серьезно повредить репутации банка и привести к судебному процессу. Неудивительно, что мы уже видели это в реальной жизни. В одном громком примере соучредитель Apple Стив Возняк написал в Твиттере, что карта Apple дает ему кредитный лимит, который в 10 раз выше, чем у его жены. Apple не смогла объяснить, почему ее алгоритм принял такое решение, и (по понятным причинам) была разгромлена до мелочей.

Уменьшение

Хотя кредитный андеррайтинг - лишь один из примеров в одной отрасли, легко представить, как та же логика применима к другим вариантам использования. Например, рассмотрим алгоритмы искусственного интеллекта, которые помогают розничным инвесторам строить свои инвестиционные портфели, помогают страховым компаниям подписывать полисы, помогают врачам ставить медицинские диагнозы, помогают отделам кадров проверять новых сотрудников - список можно продолжить. Чтобы понять всю глубину этой проблемы, я собрал два рисунка (ниже). Первый - это список известных вариантов использования ИИ в некоторых из крупнейших регулируемых отраслей. Вторая - это сокращенная карта рынка, на которой выделены несколько стартапов и действующих компаний, которые атакуют эти варианты использования.

Мы надеемся, что это проясняет, что влияние ИИ продолжает распространяться практически на все отрасли. Хотя это дает компаниям невероятную возможность повысить эффективность и общую ценность для клиентов, отсутствие объяснимости представляет собой огромное препятствие на пути к широкому внедрению и внедрению.

Последняя вещь. Важно отметить, что, хотя объяснимость является необходимостью для предприятий, которые работают в регулируемых отраслях, перечисленных выше, на самом деле она имеет еще более широкое применение, поскольку ее можно использовать для устранения ошибок и повышения доверия к моделям ИИ.

2. Как работает AI Explainability?

Существует две основных методологии объяснения моделей ИИ: интегрированные градиенты и SHAP. Интегрированные градиенты полезны для дифференцируемых моделей, таких как нейронные сети, логистическая регрессия и вспомогательные векторные машины. SHAP полезен для недифференцируемых моделей, таких как усиленные деревья и случайные леса. Давайте начнем с интегрированных градиентов.

** Внимание, этот раздел немного сложен, поэтому можете пропустить его, если вас не интересуют технические объяснения! **

Интегрированные градиенты (IG)

Прежде чем мы перейдем к интегрированным градиентам, я думаю, было бы полезно быстро обновить, что такое градиент. Градиент очень похож на наклон, но его можно использовать для функций с несколькими измерениями. В качестве быстрого примера рассмотрим линейную функцию с одной переменной: y = 2x + 1. В этой функции наклон и градиент равны коэффициенту единственной переменной, равному 2. Это значение важно, потому что оно сообщает нам соотношение между входами и выходами функции.

Для многомерной функции, такой как y = 2x + 13z + 2, наклон не слишком полезен, потому что он может быть вычислен только по одной переменной за раз. С другой стороны, градиент можно определить для полного уравнения. Это вектор коэффициентов каждой переменной. В нашем примере это [2,13]. Подобно сценарию с одной переменной, градиент можно использовать для определения влияния каждой переменной на результат функции. Почему это актуально? Что ж, если наш алгоритм AI определяет, что существует линейная связь между нашими входами и выходами, мы могли бы просто запустить множественную регрессию и использовать градиент для интерпретации важности каждой переменной.

К сожалению, модели искусственного интеллекта немного сложнее этого и редко дают хорошие линейные отношения. Например, модели глубокого обучения часто имеют множество уровней, и каждый уровень обычно имеет свою собственную логику. Что еще более усложняет ситуацию, многие из этих слоев считаются «скрытыми слоями», что означает, что они непонятны людям.

Хуже всего то, что на эти скрытые слои часто приходится большая часть предсказательной силы модели глубокого обучения. Визуально вы можете изобразить модель глубокого обучения в виде S-образной кривой, где ось x представляет номер слоя, а ось y представляет количество сгенерированного прогнозного значения. Что мы действительно хотим измерить, так это влияние каждой переменной в тех точках, где эта переменная оказывает наибольшее влияние на результаты модели. Чтобы найти это, вы не можете просто взять градиент на входе или выходе, вам нужно оценить влияние каждой переменной на протяжении всего процесса принятия решений в модели. К счастью, IG предоставляет нам изящный способ сделать это!

Методология IG работает следующим образом. Во-первых, вам нужно начать с исходных данных. Этой базовой линией может быть любой вход, который полностью отсутствует в сигнале (т.е. имеет нулевую важность функции). Базовой линией будет черное изображение для моделей распознавания изображений, нулевой вектор для текстовых моделей и т. Д. После того, как вы зададите IG базовую линию и окончательный результат, программа построит линейный путь между двумя значениями и разделит путь на количество четных интервалов (обычно от 50 до 300). Отсюда IG вычисляет градиент на каждом интервале и определяет влияние, которое каждая функция оказала на этот момент в процессе принятия решений в модели. Наконец, он усредняет эти градиенты, чтобы определить общий вклад каждой функции в выходные данные модели и вычисляет, какие функции оказали наибольшее влияние.

Более техническое объяснение состоит в том, что IG вычисляет риманову сумму градиентов, чтобы аппроксимировать интеграл по путям. Значит… подождите… интегрированные градиенты. Для более подробного объяснения и множества интересных примеров я определенно рекомендую почитать этот пост от создателей методологии интегрированных градиентов!

SHAP (также известное как SHapley Additive ExPlanations)

Наша вторая методология - SHAP. Несмотря на несколько странную аббревиатуру, SHAP - очень мощный метод объяснимости. На высоком уровне SHAP можно использовать для приблизительного определения того, насколько каждая функция недифференцируемой модели ИИ вносит вклад в результат (относительно базовой линии).

Чтобы произвести этот расчет, программа сначала выявляет все возможные перестановки переменных модели. Напомню, что перестановка - это, по сути, комбинация, в которой порядок имеет значение. Например, для модели андеррайтинга кредита, в которой в качестве входных данных используются «пол», «цвет глаз» и «город», одной перестановкой будет голубоглазая женщина, которая живет в Нью-Йорке. После разделения различных перестановок SHAP вычисляет вклад каждой переменной в каждой перестановке, а затем берет среднее значение этих вкладов. Эти средние значения известны как значения SHAP.

Значения SHAP важны, потому что они (i) позволяют пользователям понять, какой вклад каждая переменная вносит в индивидуальный прогноз, и (ii) могут быть суммированы, чтобы определить, какое влияние каждая переменная оказала на модель в целом. Иными словами, значения SHAP обеспечивают интерпретируемость как на местном, так и на глобальном уровне.

Если вам нужна дополнительная информация о методологии расчета SHAP, я бы порекомендовал прочитать эту статью. Кроме того, если вы хотите увидеть, как значения SHAP можно использовать для объяснения примера из реальной жизни, я бы посмотрел эту статью Дэна Беккера в Kaggle. Я включил два его рисунка ниже в качестве тизера. Первый показывает, как значения SHAP могут использоваться для интерпретации индивидуальных прогнозов (локальная интерпретируемость). Модель предсказывает, есть ли в футбольной команде лучший игрок матча. На этом графике показан прогноз модели для одной игры и показано, какое влияние оказала каждая из 12 переменных на прогнозирование того, будет ли эта футбольная команда лучшим игроком матча по сравнению с базовым прогнозом 0,5.

На втором рисунке показано, как значения SHAP могут использоваться для интерпретации модели в целом (глобальная интерпретируемость). Каждая точка соответствует прогнозу. Вертикальное расположение показывает, какая переменная визуализируется, цвет показывает, была ли переменная высокой или низкой для этого индивидуального прогноза, а горизонтальное расположение говорит нам, оказала ли точка данных положительное или отрицательное влияние на прогноз модели. Например, верхняя левая точка говорит читателю, что команда забила очень мало голов в той игре (потому что она синяя), и это значительно снизило ее вероятность оказаться лучшим игроком матча.

3. Зачем вкладывать средства в объяснимость ИИ?

Теперь, когда мы понимаем болевые точки и технические решения, следующий вопрос, который следует задать: каковы инвестиционные аргументы в пользу объяснимости ИИ? Я считаю, что объяснимость ИИ является привлекательным сегментом для инвестиций по нескольким причинам.

• Massive TAM: Рынок объяснимости огромен и продолжает расти быстрыми темпами. Если смотреть снизу вверх, то в перечисленных выше регулируемых секторах насчитывается более 50 000 предприятий США. Если каждый из этих предприятий внедрит решение с объяснимостью (стоимость которого начинается от 50 тысяч долларов в год и увеличивается с увеличением общей вычислительной мощности), это легко представляет собой многомиллиардный рынок. Кроме того, чем более ценными станут эти модели, тем больше компаний будут готовы платить за объяснимые решения.
• Настоящая боль заинтересованных сторон:. Как я уже говорил выше, лица, принимающие решения, находятся под растущим давлением в пользу использования решений искусственного интеллекта из-за потенциального повышения эффективности и растущего давления со стороны инновационных стартапов. Однако они не смогут воспользоваться преимуществами ИИ, пока не смогут адекватно объяснить решения модели клиентам и регулирующим органам.
• Правительственные постановления. Есть несколько новых правительственных постановлений, которые создают для рынка попутный ветер. В частности, GDPR в ЕС, Закон об алгоритмической ответственности в США, SRC 11–7 в США и Директива об автоматизированном принятии решений в Канаде. Каждый набор законодательных актов отличается, но они фактически требуют от предприятий проведения оценки воздействия ИИ, раскрытия методологии / данных, используемых в моделях ИИ, и понимания неблагоприятных последствий любых алгоритмических решений.
• Попутный ветер культуры. Потребители все больше внимания уделяют тому, как используются их данные, и требуют большей прозрачности и защиты со стороны крупных технологий. Кроме того, потребители осознают влияние алгоритмов ИИ на их повседневные решения и теперь устали от любых реальных или предполагаемых предубеждений.

4. Какие компании решают эту проблему?

Конкурентную среду можно разделить на три категории: (i) решения с открытым исходным кодом, (ii) основные платформы искусственного интеллекта с функциональностью объяснимости и (iii) специализированные продукты, ориентированные исключительно на объяснимость.

Решения с открытым исходным кодом

Существует ряд крупных платформ с открытым исходным кодом, которые предоставляют пользователям бесплатное программное обеспечение ИИ и некоторые базовые инструменты для объяснения или интерпретации их моделей ИИ. Лучшие провайдеры в этой категории включают H2O AI, Google Cloud AI и IBM Watson. Обратной стороной этих платформ является то, что их сложно использовать и сложно интерпретировать. Учитывая, что у большинства ИТ-отделов нет выделенных ресурсов, которым можно было бы поручить внедрение и мониторинг этих несколько неуклюжих решений, маловероятно, что текущая итерация продуктов с открытым исходным кодом выиграет эту категорию.

Основной ИИ

В дополнение к этим решениям с открытым исходным кодом существует также ряд стартапов по ядру ИИ, которые предлагают объяснимость как часть более широкого предложения продуктов. Эти компании предоставляют полный набор программного обеспечения и услуг, чтобы помочь клиентам создавать полнофункциональные приложения и модели искусственного интеллекта. Лучшие бренды в этой категории включают Digite, Temenos, Kyndi, simMachines, Cognitive Scale, RoundSqr, Darwin AI и SparkCognition. Преимущество использования этих решений - удобство. Как правило, они позволяют управлять моделями ИИ, приложениями и рабочим процессом разработки с одной платформы. Единственным недостатком является то, что функциональность объяснимости кажется несколько менее надежной, чем то, что было разработано специально созданными решениями.

Специально созданные решения

В отличие от описанных выше продуктов ИИ с открытым исходным кодом и основных продуктов, специально разработанные решения не предоставляют инструментов, которые помогут пользователям создать полную модель ИИ или управлять своей рабочей нагрузкой. Вместо этого они сосредотачиваются исключительно на создании инструментов объяснимости, которые являются мощными и простыми в использовании. Как правило, эти решения подключаются к существующим моделям искусственного интеллекта через соединение API и предоставляют информационные панели, которые позволяют анализировать предвзятость, запускать сценарии что, если, визуализировать дрейф данных и т. Д. Некоторые из лучших специализированных решений включают RealityAI, Calypso , ZAC, Craft AI, Chatterbox Labs и Fiddler AI.

5. Кто победит?

Теперь, когда мы определили проблему, обсудили возможные решения и проанализировали конкурентную среду, последний вопрос, который следует задать: кто победит в этой категории? На данный момент, очевидно, невозможно сказать, но, на мой взгляд, впереди стоит компания Fiddler AI. К такому выводу я пришел по нескольким причинам:

• Продукт. В настоящее время Fiddler предлагает один из самых современных продуктов на рынке. Они предоставляют специализированное решение SaaS, которое может подключаться к любому хранилищу данных через соединение API. Он использует новейшие методы объяснимости и может интерпретировать любой тип модели. Он предоставляет информационные панели, которые помогают пользователям идентифицировать / устранять алгоритмические ошибки, интерпретировать влияние каждого ввода и оценивать дрейф данных. Кроме того, он позволяет клиентам создавать настраиваемые информационные панели и отчеты для дальнейшей визуализации или аудита данных. Наконец, они создали «Fiddler Labs», чтобы продолжать совершенствовать свои методы и инструменты объяснимости.
• Команда: Fiddler возглавляет команда Rockstar. Основатели имеют значительный опыт руководства разработкой ИИ в известных технологических компаниях (Facebook, Pinterest, Twitter, Microsoft, eBay, Samsung, Lyft и т. Д.). Что еще более важно, они глубоко понимают болевую точку черного ящика. Фактически, генеральный директор фирмы Кришна Гаде ранее руководил разработкой объяснимой функциональности для алгоритма ранжирования ленты новостей Facebook. Команда также ранее основала, управляла и вышла из нескольких предприятий, демонстрируя свою способность приносить привлекательные результаты для инвесторов.
• Инвесторам: на сегодняшний день компания привлекла 13,2 миллиона долларов от некоторых из самых уважаемых венчурных компаний в стране (Lightspeed, Lux Capital и Haystack). Я ожидал, что Fiddler воспользуется этим недавним финансированием, а также сетями и опытом своих венчурных партнеров, чтобы значительно расширить команду и расширить предложение продуктов. Я считаю, что это укрепит Fiddler в качестве ведущего игрока в сегменте объяснимости и даст им разумные шансы на победу в этой категории. Конечно, никто точно не знает, что произойдет, но следить за этой компанией будет весело!

Источники: