ИИ «черный ящик» используется в качестве метафоры для выражения феномена системы, используемой вИИ. Система позволяет наблюдателю наблюдать, какие входы поступают в черный ящик или какие выходы выходят из черного ящика, однако процесс значений внутри матриц не может быть объяснен или отслежен третьим глазом.

Если ИИ было поручено решить конкретную задачу, несмотря на то, что сложная задача выполнена, невозможно наблюдать, как она выполняется. [1] Другими словами, это очень похоже на анатомию мозга, даже если ученый может анализировать функции мозга, но не может исследовать модели мышления или само подсознание.

Из-за неопределенности этого явления его называют Черный ящик, чтобы продемонстрировать сложность понимания того, что происходит внутри непрозрачной системы. На самом деле, феномен Черного ящика, который эта статья будет оценивать под этим заголовком, является основой всех конфликтов и дебатов, вращающихся вокруг механизмов ИИ и АДМ, поскольку люди нуждаются в том, чтобы подвергнуть сомнению то, что они не могут понять или объяснить, и они будут преследовать до тех пор, пока им не удастся разобрать черный ящик. Более того, проблемы прозрачности и непрозрачности, предвзятые и дискриминационные решения — все они изначально возникают из-за неспособности понять механизм. По этой причине для решения проблемы непостижимости в последнее время приобрели значение термины объяснимый AI (XAI) и объяснимые алгоритмы [2].

Особенно, если учесть, что это явление также стало основной темой крупных конференций [3]. По данным Агентства перспективных исследовательских проектов Министерства обороны, создавать более объяснимые модели, сохраняя при этом высокий уровень эффективности обучения (точность прогнозирования); и дать возможность пользователям понимать, правильно, доверять и эффективно управлять новым поколением искусственного интеллекта партнеров[4].

Термин впервые был введен в 2004 г. Van Lent et al. [5], чтобы описать возможности этих систем, как объекты управления ИИ могут объяснить свое поведение в применении игр-симуляторов. Для того, чтобы увидеть всю картину, необходимо чисто разобраться в самом механизме. Кроме того, возложение важных решений на систему, которая не может себя объяснить, ставит под угрозу решения, принимаемые этими системами. XAI предлагает перейти на более прозрачный ИИ [6]; Таким образом, он пытается создать методы для производства более объяснимых механизмов, не нанося ущерба развитию машины. Академики, которые указывают на подотчетность, прозрачность, непрозрачность и справедливость [7], в первую очередь сосредотачиваясь на объяснимом ADM, чтобы предотвратить социальные и коммерческие последствия. Тем не менее, заметное внимание к XAI уделяется и в промышленной сфере[8]. Ведущие компании, которые сделали ИИ известным во всем мире, также внесли свой вклад в то, чтобы сделать эти системы более объяснимыми, например; Служба машинного обучения Microsoft Azure [9], Kyndi, которая пытается создать объяснимую платформу искусственного интеллекта для правительства [10].

Ведущие компании, сделавшие ИИ известным во всем мире, также вносят свой вклад в то, чтобы сделать эти системы более объяснимыми.

По словам Кинди, наши решения являются полной противоположностью старому черному ящику ИИ.[11]Кроме того, FICO, который в основном используется для оценки кредитоспособности, также вносит свой вклад в решение этой проблемы благодаря объяснимому машинному обучению. вызов [12]. Согласно FICO, Передовые методы машинного обучения быстро находят применение в отрасли финансовых услуг, трансформируя обработку больших и сложных наборов данных, но существует огромный разрыв между нашей способностью создавать эффективные прогностические модели и нашей способностью понимать и управлять этими моделями. Чтобы продвигать исследования в этой области, FICO и ряд академических партнеров совместно разработали задачу, основанную на реальном наборе финансовых данных. Задача не обязательно сосредоточена на точности, скорее, она сосредоточена на оценке объяснений, выдвинутых участниками. [13]

В рамках этой задачи FICO заявляет о своих собственных опасениях из-за непостижимости «черного ящика» и его влияния на финансовый мир. Что касается опасений FICO, они призывают ученых решить проблему непостижимости в отношении предубеждений и дискриминационных решений и адаптировать метод решения в мире финансов. Более сложные методы машинного обучения, которые обещают повышенную точность и ясность, должны означать более широкий доступ к кредитам для квалифицированных заемщиков и меньший риск для финансовых учреждений. Однако природа ADM как «черного ящика» показывает, что в настоящее время они не поддаются объяснению и вмешательству. Без точных объяснений эти алгоритмы не могут соответствовать надлежащей правовой процедуре, поэтому они не могут быть одобрены финансовым миром и, вероятно, не будут приняты потребителями.

Наконец, в этой статье нарисована схема, чтобы еще раз понять, зачем нужна объяснимость:

  • Во-первых, необходимо понять эти системы, чтобы обосновать [14] обоснование объяснений и найти способ предотвращения неправомерных решений [15]. Кроме того, чтобы найти ошибки или недостатки системы, исправить ошибки проектирования, которые система не может восстановить самостоятельно, а главное, нужны объяснимые алгоритмы для управления самим процессом принятия решений.
  • Во-вторых, если можно понять систему, ее будет намного легче улучшать[16]. Пользователям будет легче доверять этим системам, так как они будут знать мотивы данных решений, а также будет возможность корректировать решения. Таким образом, XAI может стать основой для продолжения итерации и совершенствования между землянином и машиной[17].
  • Наконец, учитывая, что машина может адаптироваться и учиться намного быстрее, чем люди[18], способность понимать эти системы позволит нам получать от них новые знания[19]. Например, алгоритм здоровья DeepMind имеет способность диагностировать более 50 болезней»[20]», и если бы можно было понять, как это делается, это увеличило бы наши знания не только в области здравоохранения, но и в различных областях.

Подводя итог, метод объяснения является важным средством для обоснования решений, основанных на алгоритмах, для решения непостижимой природы систем принятия решений и развития доверия между машиной и человеком.

Библиография:

[1] Сьюзан Рую Ци, Google DeepMind, возможно, только что решил проблему «черного ящика в медицинском ИИ» (Medium, 23 августа 2018 г.) ‹ https://medium.com/health-ai/google-deepmind -might-have-just-solved-the-black-box-problem-in-medical-ai-3ed8bc21f636› по состоянию на 12 апреля 2019 г.

[2] Дэвид Серли и др., 10 главных тенденций в области стратегических технологий на 2018 г. (Gartner, 3 октября 2017 г.) https://www.gartner.com/doc/3811368/top--strategic-technology-trends по состоянию на 12 апреля 2019 г.

[3] Эндрю Гордон Уилсон, Бин Ким и Уильям Херландс, Материалы семинара NIPS 2016 по интерпретируемому машинному обучению для сложных систем (Корнельский университет, 28 ноября 2016 г. ) ‹ https://arxiv.org/abs/1611.09139› по состоянию на 23 апреля 2019 г.

[4] Дэвид Ганнинг, Объяснимый искусственный интеллект (XAI) (Агентство перспективных исследовательских проектов Министерства обороны США) https://www.darpa.mil/program/explainable-artificial-intelligence

по состоянию на 12 апреля 2019 г.

[5] Майкл ван Лент, Уильям Фишер и Майкл Манкузо, Объяснимая система искусственного интеллекта для тактического поведения малых подразделений, (2004 г.) IAAI EMERGING APPLICATIONS

[6] Амина Адади и Мохаммед Беррада, Заглянуть внутрь черного ящика: обзор объяснимого искусственного интеллекта (XAI) (2018) IEEE Access, 52142, 52138.

[7] ЖИР/МЛ.

[8] Амина Адади и Мохаммед Беррада, Заглядывая внутрь черного ящика: обзор объяснимого искусственного интеллекта (XAI) (2018) IEEE Access, 52142, 52139.

[9] Microsoft Azure, Системы машинного обучения Azure ‹ https://azure.microsoft.com/en-us/services/machine-learning-service/› по состоянию на 20 марта 19.

[10] Блог Kyndi, Растущий спрос на решения ИИ, дающие «объяснимые проверяемые результаты» ‹ https://kyndi.com/blog/growing-demand-for-ai-solutions-that-produce -объяснимые-аудируемые-результаты/› по состоянию на 20 марта 19.

[11] Kyndi ‹ https://kyndi.com/› по состоянию на 12 апреля 2019 г.

[12] Сообщество FICO, Объяснимая проблема машинного обучения ‹ https://community.fico.com/s/explainable-machine-learning-challenge› по состоянию на 12 апреля 2019 г.

[13] Сообщество FICO, Объяснимый вызов машинного обучения https://community.fico.com/s/explainable-machine-learning-challenge

по состоянию на 12 апреля 2019 г.

[14] Аянна Ховард, Ча Чжан и Эрик Хорвиц, Устранение предвзятости в алгоритмах машинного обучения: экспериментальное исследование распознавания эмоций для интеллектуальных систем (2017) Proc. Доп. Робот. Социальные воздействия (ARSO), 2.

[15] Амина Адади и Мохаммед Беррада, Заглядывая внутрь черного ящика: обзор объяснимого искусственного интеллекта (XAI) (2018) IEEE Access, 52142, 52142

[16] там же.

[17] там же.

[18] Кролл (n 3), 10.

[19] Амина Адади и Мохаммед Беррада, Заглянуть внутрь черного ящика: обзор объяснимого искусственного интеллекта (XAI) (2018) IEEE Access, 52142, 52143.