Goldman Sachs - последняя из ряда известных компаний, находящихся под пристальным вниманием к разработке алгоритмов искусственного интеллекта с предполагаемыми неявными предубеждениями, такими как дискриминация по признаку пола или расы. Действительно ли существуют предубеждения в этих алгоритмах? Конечно, это возможно - да, - но из-за характера технологии мы часто не можем заглянуть в механизмы ИИ, чтобы точно знать, какие движущие силы стоят за определенными результатами. В этом посте мы обсудим, почему мы по-прежнему наблюдаем проблемы предвзятости в ИИ, что такое «черный ящик» и как предприятия могут использовать управление ИИ и создавать надежные системы ИИ.

В этом последнем примере Apple Card (выпущенная Goldman Sachs), по-видимому, предоставляла женщинам более низкие кредитные льготы независимо от кредитного рейтинга. Обеспокоенность всплыла в череде недавних твитов, написанных техническим предпринимателем и основателем Ruby on Rails Дэвидом Хайнемайером Ханссоном, в котором утверждалось, что его жена получила кредитный лимит в 20 раз ниже, чем его, несмотря на более благоприятный кредитный рейтинг. Goldman защитился, заявив, что его кредитные решения основаны на кредитоспособности клиента, а не на таких факторах, как пол, раса, возраст, сексуальная ориентация или любом другом основании, запрещенном законом, но, не имея возможности сказать больше, он подорвал доверие к применение алгоритмического принятия решений.

Как предвзятость может закрасться в алгоритмы ИИ?

Машинное обучение - это изучение прошлых данных и автоматизация принятия решений. Как технология, искусственный интеллект нейтрален в том смысле, что это математический инструмент, лишенный тех предрассудков и эмоциональных слепых пятен, которые порождают человеческие предубеждения. Но он также не замечает того факта, что использование расы или пола в качестве основания для присуждения кредита может быть неуместным; для алгоритма это просто еще одна переменная. Алгоритмы аморальны - именно организации и люди, применяющие ИИ, подвергаются риску безнравственности.

Опасность систем черного ящика заключается в том, что непреднамеренные предубеждения могут закрасться и остаться непроверенными. В системах машинного обучения одним из источников предвзятости являются данные, используемые для обучения алгоритмов, которые вполне могут быть отражением социальных предрассудков, унаследованных алгоритмом. Например, если вы тренируете алгоритмы прогнозирования полицейской деятельности, основанные на исторических моделях арестов и осуждения полицейских сил, уже изобилующих институциональной предвзятостью, алгоритм просто унаследует существующую предвзятость.

Кроме того, мощные алгоритмы машинного обучения могут добывать и выбирать базовые прокси, которые сильно коррелируют с запрещенной переменной в наборе данных (например, пол и раса), даже если чувствительная переменная опущена. Давайте применим это к банку, пытающемуся обучить модель для оценки кредитоспособности. Банк действительно мог удалить пол из набора обучающих данных, но, если он был сохранен в «девичьей фамилии», например, тогда алгоритм мог бы выбрать непустые значения в этой переменной в качестве прокси женского пола. Вот почему модели необходимо регулярно проверять на предмет скрытых предубеждений.

Каким образом системы искусственного интеллекта являются черными ящиками?

Стало почти банально говорить, что системы ИИ - это черные ящики. Но есть много причин, почему они таковы, или почему они так кажутся предприятиям и их клиентам.

Во-первых, глубокое обучение и другие сложные алгоритмы машинного обучения могут быть трудными для понимания даже практикам. Нелинейность и огромное количество функций, управляющих моделями, могут быть довольно ошеломляющими. Мы можем визуализировать 2 или 3 измерения и то, как 2 или 3 функции могут взаимодействовать для создания прогноза, но это становится чрезвычайно сложным, когда вы набираете сотню (или миллион) этих функций.

Но необъяснимые модели глубокого обучения не обязательно - существуют методы, позволяющие заглянуть в эти черные ящики. Интерактивная визуализация Tensorflow Playground дает вам представление о том, что каждый нейрон в нейронной сети думает и как эти мысли способствуют принятию окончательного решения. Такие методы, как LIME, также позволяют нам понять, какие пиксели определяют решение алгоритмов компьютерного зрения при классификации объектов.

Во-вторых, по коммерческим причинам поставщики систем искусственного интеллекта могут предпочесть, чтобы они были черными ящиками. Часто может быть веская причина для желания помешать клиенту узнать о том, как работает система, например, защита интеллектуальной собственности или избежание состязательных атак на ИИ. С другой стороны, может не быть никаких веских причин, например, притворяться, будто черный ящик управляется сложным машинным обучением, хотя на самом деле это не так.

В-третьих, отсутствие внутренних возможностей на предприятиях может привести к черным ящикам. Поставщик решения может предоставить весь базовый код и данные, но если у предприятия нет внутренних команд, которые могли бы разобраться в этом, то это фактически черный ящик. Отсутствие знаний создает непрозрачность.

Другой феномен, который мы наблюдаем, заключается в том, как при решениях, разработанных внутри компании, отсутствие правильного процесса может привести к черным ящикам. Ученые ИИ часто не имеют подготовки в качестве инженеров-программистов и не знакомы с проверкой своего кода в Git, который поддерживает надежный контроль версий кода. И что еще больше усложняет ситуацию, у механизмов машинного обучения есть гораздо больше элементов, которые нужно отслеживать, помимо кода, не ограничиваясь: данными обучения, параметрами модели, подробностями о том, как прогнозы обслуживаются и представляются другим системам. У большинства организаций нет систематизированной платформы, которая помогает вести надежный цифровой контрольный журнал и, что более важно, процесса, который позволяет обнаруживать ошибки и принимать меры для исправления или отката модели в случае их возникновения.

На пути к ответственному искусственному интеллекту

Чтобы вызвать доверие к использованию систем искусственного интеллекта, недостаточно рассматривать эти системы как «интеллектуальный» черный ящик, удовлетворенный знанием входных и выходных данных модели машинного обучения, без внутренней работы. Надежные механизмы искусственного интеллекта требуют надзора, постоянного мониторинга и соблюдения нормативных требований. В конечном счете, люди должны убедиться, что системы машинного обучения используются правильно и подотчетны.

Такие случаи, как Apple Card, постоянно повышают значимость проблемы, связанной с крупными технологиями и управлением ИИ. Финтех-компании, среди многих других отраслей, все чаще используют машинное обучение на практике, включая кредитный риск и оценку. Но потребность в управлении и объяснимости становится все более и более актуальной, поскольку потребители требуют знать, как и почему принимаются «несправедливые» или неправильные решения в отношении важных вещей в их жизни, таких как кредитоспособность.

«Управление ИИ» может стать следующим термином в вашей модной карточке бинго, но реальность такова, что бизнес-использование ИИ выросло на 270% * за последние 4 года, намного быстрее, чем использование компаниями стратегий для защиты против неудач с машинным обучением. Этот термин относится к способности организации гарантировать, что их алгоритмы принятия решений работают должным образом, непрерывно и на протяжении всего их использования.

Для предприятий это означает:

  • Надзор: способность непрерывно отслеживать производительность всего множества систем ИИ по показателям, которые имеют значение для организации, включая точность, которая определяет бизнес-результаты, и предвзятость, обеспечивающую этическую ответственность.
  • Ремонтопригодность: способность определять, когда что-то идет не так, чтобы иметь возможность быстро диагностировать и исправлять эти ошибки.
  • Проверяемость и объяснимость: способность анализировать, отслеживать и исследовать факторы, влияющие на принятие решений.
  • Обеспечение компромиссов: вопросы управления неизбежно связаны с осуждением, но хорошо управляемая система имеет средства для выявления ключевой информации, позволяющей руководителям высшего звена идти на компромиссы при принятии решений и выполнять их во всей организации. Например, способность систематически создавать справедливые, беспристрастные модели и количественно оценивать справедливость и вытекающую из этого потерю прибыли.

Итак, как предприятия могут использовать управление ИИ?

Хорошая новость заключается в том, что управление возможно и «черный ящик» можно открыть. Кроме того, есть несколько способов, с помощью которых компании могут внедрить надежное управление в свои практики искусственного интеллекта. Мы суммировали 4 ключевые стратегии, которые следует учитывать при разработке ответственного приложения искусственного интеллекта:

  1. Создайте основные команды, которые смогут взять на себя ответственность за ваши системы принятия решений ИИ, сохраняя при этом контроль над вашими данными

Слишком много организаций рассматривают системы искусственного интеллекта как универсальный товар или виджет. Но чаще всего процесс принятия решений требует привязки к вашему бизнесу. Будьте очень осторожны при использовании предварительно обученных или автоматически обученных моделей, потому что, когда их предположения отличаются от вашего бизнес-контекста, именно здесь все идет наперекосяк. Мы рекомендуем вам создать компактную команду базовых данных и машинного обучения для реализации вашей инициативы в области искусственного интеллекта; или, если у вас нет подходящей команды, работайте с командой экспертов, которые могут помочь вам создавать и поддерживать индивидуальные модели и которые готовы применить подход к наращиванию потенциала, а не просто продавать вам черный ящик.

2. Используйте контроль версий и электронные журналы аудита

Убедитесь, что ваши системы поддерживают контроль версий и позволяют отслеживать все части жизненного цикла разработки и развертывания ИИ, чтобы вы знали, какая модель дает какие результаты и когда. Если бы ситуация с Apple Card / Goldman возникла в результате недавно развернутого алгоритма искусственного интеллекта, эти организации должны были бы иметь правильную технологию, чтобы исследовать и переключиться на старую версию модели за несколько щелчков мышью. Цифровые журналы аудита упрощают откат, объяснение и отладку.

3. Постоянный мониторинг ИИ в производстве

Модели ИИ деградируют. Если алгоритм Apple Card был старой моделью искусственного интеллекта, которая со временем ухудшалась, мониторинг имеет решающее значение для того, чтобы иметь возможность отмечать, когда производительность модели снижается. Убедитесь, что все по-прежнему работает, как задумано, и проверьте свои модели на предмет неявных предубеждений. Простое удаление расы не сработает, если у вас есть почтовый индекс в качестве поля, а определенные почтовые индексы имеют высокую корреляцию с расой - модель ИИ получит почтовый индекс, и он станет прокси для расы.

4) Купите инструменты, которые помогут вам сделать все вышеперечисленное.

Ученым в области искусственного интеллекта и инженерам по машинному обучению нужна помощь в автоматизации и управлении их работой. Также растет потребность в сокращении разрыва между наукой о данных и DevOps.

Платформа BasisAI, Bedrock, помогает предприятиям создавать более управляемые системы искусственного интеллекта, ускоряя при этом их усилия по машинному обучению.

Если вы хотите узнать больше об управлении ИИ или Bedrock, свяжитесь с нашей командой специалистов по обработке данных по адресу [email protected] или узнайте больше на www.basis-ai.com.

* Gartner, январь 2019 г.