В наши дни ходит шутка; «В чем разница между машинным обучением и ИИ…; если это на Python, то это, вероятно, машинное обучение, если это в Powerpoint, то, вероятно, это AI». AI Summit в Сан-Франциско, который дает возможность послушать, пообщаться и обменяться мнениями с теми, кто есть кто в области ИИ в Силиконовой долине, — и я недавно сам появился на этом мероприятии.
Реальная ценность искусственного интеллекта возникает, когда компании отделяют факты от вымысла и могут использовать ценность этой технологии таким образом, чтобы получить реальную ценность для бизнеса. В ближайшие недели я напишу о нескольких своих выводах и анализе, которые активно определяют «сегодня» и «завтра» ИИ и должны помочь вам разобраться в шумихе:
Открытие черного ящика Пандоры: объяснимый и интерпретируемый ИИ
По мере того, как мы переходим от нечеткой природы ИИ (на основе слайдов) к практическому развертыванию приложений на основе ИИ, обнаруживается множество ограничений в ИИ. Например, становится все более очевидным непрозрачный, неинтуитивный и сложный способ принятия решений, принимаемых двигателями ИИ (также известный как «черный ящик ИИ»). Это проявилось в нескольких громких скандалах: от расистских чат-ботов¹ до сексистских алгоритмов поиска работы². Системы искусственного интеллекта показали нам, что нужно учитывать гораздо больше, чем просто написание кода. Остается вопрос: как мы можем возродить доверие к системам ИИ и чувствовать себя комфортно, предоставляя им контроль над нашими решениями?
Проблема
Большинство корпоративных вариантов использования, основанных на системах искусственного интеллекта, следуют подходу «черный ящик», при котором происходит автоматическое принятие решений, часто основанное на машинном обучении (ML). Анализ обычно выполняется на огромном объеме данных без явного раскрытия того, «почему» и «как» были получены выходные данные. Помимо непрозрачного подхода «черный ящик», существуют предубеждения, унаследованные от человеческих предубеждений, неверных суждений или технических недостатков, запрограммированных в коде ИИ (например, ошибочные данные обучения, классификации моделей, исключение крайних случаев и т. д.). При подходе «черный ящик» обычно нет четкого объяснения, почему алгоритм принимает определенные решения и оценивает одни результаты выше, чем другие, которые легко понятны пользователю. Это особенно характерно для решений plug-and-play, которые развертываются непосредственно поставщиком без учета внутренних механизмов его собственного искусственного интеллекта.
Возможное решение
Есть два подхода, нацеленных на проблему черного ящика; интерпретируемость и объяснимость — к сожалению, они часто используются взаимозаменяемо, но это не одно и то же.
Интерпретируемость описывает «систему, в которой пользователь может не только видеть, но также изучать и понимать, как входные данные математически соотносятся с выходными данными»³. Хотя это помогает пользователю понять решения, оно явно не объясняет логику, используемую алгоритмом. Объяснимость добавляет прозрачности и понятности для человека к интерпретируемости — таким образом, объяснимость захватывает процесс принятия решений модели и представляет пользователю логику и рассуждения, которые она использует. Взяв рис. 1 в качестве примера системы распознавания изображений, которая должна выдавать «Какое животное отображается на входе», подход «черный ящик» будет просто представлять только вход и выход. В интерпретируемой системе входные атрибуты сопоставляются с атрибутами обучающих данных и предоставляются в качестве выходных данных. В объяснимой системе, помимо технического представления вывода и процесса, пользователь может понять, что изображение является кошкой, потому что у нее есть определенный тип ушей, цвет, мех и другие отличительные признаки.
Однако существует компромисс между объяснимостью и точностью предсказания, поскольку они имеют отрицательную корреляцию. Например, глубокое обучение обладает высокой способностью прогнозирования, хотя это вряд ли объяснимо. Следовательно, уровни объяснимости и точности должны определяться конкретно для каждой модели, и соответственно должны выбираться методы обучения.
Преимущества
Доктор Сюй, вице-президент и руководитель лаборатории искусственного интеллекта Lenovo Research, подчеркнул важность открытия «черного ящика», чтобы вселить доверие и уверенность в системах искусственного интеллекта. С развертыванием улучшенной модели пользователь может получить доступ к логическим решениям, принятым кодом, через удобный интерфейс. Помимо устранения предубеждений, этот подход необходим для восстановления доверия, необходимого для применения ИИ в таких областях, как здравоохранение или оборона, где доверие к системам имеет первостепенное значение.
Открытие "черного ящика" поможет нам получить более точные и надежные модели, которые также улучшат взаимодействие с искусственным интеллектом и помогут получить ценную информацию.
Мы с нетерпением ждем возможности совместно создавать будущее отраслей путем трансформации и наблюдать за успехом новых вариантов использования. Не стесняйтесь обращаться к нам, если вы также заинтересованы в обсуждении того, как тенденции Силиконовой долины формируют будущее бизнеса и технологий во всем мире.
[2] Датта, Амит, Майкл Карл Чанц и Анупам Датта. «Автоматические эксперименты с настройками конфиденциальности рекламы». Доклады о технологиях повышения конфиденциальности 2015.1 (2015): 92–112.
[3] Доран, Дерек, Сара Шульц и Тарек Р. Бесольд. «Что на самом деле означает объяснимый ИИ? Новая концептуализация перспектив». препринт arXiv arXiv:1710.00794 (2017 г.).
