В последние годы наблюдается всплеск работы на стыке ИИ — или, точнее, машинного обучения (МО) — и общества/гуманитарных наук. Это отличная разработка, которая (справедливо) приветствовалась сообществом машинного обучения, областями его приложений и широкой публикой. Такие работы могут привести к появлению нового поколения многоязычных ученых и инженеров по машинному обучению, которые могут говорить на машинном обучении, гуманитарных науках (например, философии, этике и т. д.) и других дисциплинах, а также проложить путь к более широкому внедрению и успеху. и правильное использование этой технологии. Такие термины, как честный, прозрачный, интерпретируемый, объяснимый и подотчетный ИИ — и это лишь некоторые из них — являются примерами ключевых слов из этих направлений исследований.

В этом посте я хочу особо поговорить об объяснимом ИИ (XAI) и с очень специфической точки зрения: какое объяснение XAI касается (и должно быть)? Как следует из вопроса, есть несколько объяснений, которые приходят на ум людям, когда речь заходит о модели ИИ и системе, которую она моделирует; некоторые предполагают, что XAI одинаково актуален для всех из них. Конечно, для XAI существуют разные определения, которые я надеюсь раскрыть в следующих постах; обсуждение здесь останется актуальным для ряда общих определений XAI. Учитывая важность того, чтобы XAI не превратился в универсальное словосочетание, я надеюсь, по крайней мере, помочь прояснить, чем XAI не является.

Что такое ML-модели? Это модели некоторых систем/явлений/процессов, обученные на данных, собранных из различных аспектов таких систем, чтобы они могли оптимально делать прогнозыили решения. Многие такие системы можно рассматривать на разных уровнях детализации; то есть существует множество вышестоящих механизмов, взаимодействие и агрегация которых могут привести к созданию механизмов на новых уровнях детализации. Например, давайте рассмотрим некоторые проблемы машинного обучения с учителем в медицинском контексте. Как показано на этом рисунке, можно рассматривать медицину/здоровье, начиная с клеточного уровня и вплоть до уровня здоровья населения и выше (т. е. увеличивая и уменьшая масштаб). Таким образом, данные иногда могут поступать с одного или нескольких таких уровней детализации (то, что в этой области называется данными «мультиомика»). Например, можно использовать генетические данные, чтобы предсказать начало рака, или использовать социальные и экологические детерминанты здоровья, чтобы предсказать риск диабета. В таких случаях любопытный ум может потребовать нескольких объяснений; их, вероятно, можно свести к двум репрезентативным вопросам:

  • Q1 (механизм системы): может ли модель объяснить (восходящие) механизмы, лежащие в основе системы (например, почему некоторые люди заболевают определенными заболеваниями)?
  • Q2 (объяснение модели): можно ли объяснить процесс ввода/вывода модели (например, как входные данные, представляющие конкретного пациента, привели к прогнозу высокого/низкого риска; какие входные переменные сыграли какую роль в прогнозе)?

Я считаю, что XAI занимается Q2, а не Q1: можно сказать, что модель ML объяснима, если она может объяснить отношения, которые она обнаружила между переменными, с которыми имеет дело. Конечно, модели машинного обучения, обученные на данных, генерируемых системой, могут помочь генерировать новые гипотезы об основных механизмах этой системы и/или предоставлять доказательства в пользу или против существующих гипотез о ее основных механизмах. Однако мы не можем сказать, что модель машинного обучения необъяснима, потому что она не может объяснить механизм, лежащий в основе системы, из которой были получены ее обучающие данные. Более того, это не означает, что мы должны перестать задавать вопросы типа Q1; это скорее означает, что неспособность модели ML анализировать нижестоящие механизмы системы не должна быть причиной для исключения ее в качестве жизнеспособного решения для решения проблем, связанных с этой системой.

Объяснимый ИИ должен быть связан с объяснением самой модели ИИ (то есть того, как конкретная комбинация входных переменных приводит к определенному прогнозу), а не обязательно с объяснением механизмов, лежащих в основе систем, на данных которых ИИ обучался.

Наконец, вы, возможно, уже слышали известное выражение «все модели неверны, но некоторые из них полезны»; распространенный афоризм в области статистики, в котором делается более широкий вывод о научных методах и процессе научных открытий. Это особенно верно в первые дни исследований. Конечно, модели машинного обучения не являются исключением, и, следовательно, их принятие зависит от того, «правы они или нет в отношении механизма» и «они полезны для решения проблемы», что является чрезвычайно важным различием.

Это был первый пост из серии, которую я решил написать о XAI и ряде смежных тем. Учитывая расплывчатость многих определений и крайнюю неоднородность точек зрения на эту тему, я надеюсь позаимствовать мудрость толпы (через ваши комментарии, разногласия и обсуждения этих постов) и в конечном итоге написать более полную статью по этой теме, который охватывает более широкий набор точек зрения. Пожалуйста, комментируйте, делитесь и двигайте разговор вперед. Конечно, это личное мнение, и оно не обязательно отражает точку зрения учреждений, с которыми я связан.