ИИ набирает все большее значение в современном деловом и академическом мире (по прогнозам McKinsey, к 2030 году ИИ обеспечит экономическую активность примерно в 30 триллионов долларов) с потрясающей производительностью в таких областях, как финансы, автономное вождение, научные исследования, производство и здравоохранение. .
Несмотря на общее положительное отношение к ИИ, машинному обучению и науке о данных в целом, есть проблема, требующая внимания.
Проблема, с которой ИИ столкнулся в последние годы, — это проблема объяснимости. Модели глубокого обучения, например, используют миллионы параметров для создания чрезвычайно сложных и крайне нелинейных представлений данных, которыми они питаются. Эти модели обеспечивают очень точные прогнозы, но мало помогают людям, использующим их, понять внутренние особенности и представления данных, которые модель использует для классификации конкретной точки данных в категорию.
Зачем нужна объяснимость?
Как отмечает Джордж Севора, главный специалист по данным в illumr, есть как минимум 4 причины, по которым исследователям или специалистам по данным нужно больше объяснимости:
- Удобочитаемость. Лица, принимающие решения (менеджеры, генеральные директора), не нуждаются в информации о самих данных, а скорее заинтересованы в том, почему модель сделала прогнозы, и, таким образом, лучше понимают бизнес.
- Обоснованность. Найм и увольнение в настоящее время обрабатываются в основном алгоритмами, но сотрудники или потенциальные клиенты имеют право на четкое понимание того, почему было принято то или иное решение в их отношении. Отсутствие ответа может привести к юридическим последствиям. Это только один пример.
- Дискриминация. Решения «белого ящика» благодаря своей прозрачности могут помочь избежать возможного непреднамеренного воспроизведения дискриминации через наборы данных.
- Устранение переобучения. В моделях «черный ящик» есть свой собственный способ выбора взаимосвязей между переменными данных, но они не всегда работают лучше всего. Возможность понять, какие отношения на самом деле имеют смысл, может помочь вашей машине делать более точные прогнозы.
Смотрите здесь страшилки, когда объяснимости было больше, чем нужно.
Что можно сделать?
А вот и объяснимый ИИ или xAI. Такие компании, как Google, заинтересованы в дальнейшем развитии ИИ и в настоящее время работают над предложением услуг в области объяснимого ИИ. Короче говоря, само название в значительной степени говорит само за себя: при создании модели вы хотите, чтобы она не только показывала вам прогнозы, но и какое-то объяснение того, почему прогнозы получились именно такими.
Помимо внутренних решений xAI, которые используют технологические гиганты, есть по крайней мере еще один более простой путь. Исследователи и специалисты по данным должны сосредоточиться на построении моделей, которые включают только те функции, которые ответственные за интерпретацию модели изначально понимают, и отслеживать эти функции с помощью модели, чтобы результаты можно было анализировать через призму этих показателей. [идея взята отсюда]
Производительность против объяснимости
Самые популярные модели ИИ с высокой производительностью имеют где-то около 100 миллионов параметров, как упоминалось ранее (ага, 8 нулей). Это означает, что каждый из этих параметров оказал большое или малое влияние на конечную производительность модели, особенно в случае популярных моделей достигается максимальная производительность. Учитывая эту сложность и размерность данных, как мы можем даже подумать о том, чтобы понять, как каждый параметр повлиял на модель?
С другой стороны, простые модели, такие как линейная регрессия, по своей сути объяснимы, поскольку веса и знаки каждой независимой переменной/функции представляют важность признаков, а интерпретируемость определяется с точки зрения этих весов.
Подробнее о связи между некоторыми наиболее часто используемыми методами машинного обучения и их объяснимости на рисунке ниже.
Как это делают люди?
На самом деле, мы, как люди, тоже не настолько хороши, чтобы объясняться в процессе принятия решений. Поэтому нам иногда трудно принимать решения, потому что процесс не ясен [см. здесь].
Большая часть нашего механизма принятия решений происходит бессознательно, и наша тенденция думать, что мы действуем, имея в виду четкий процесс, на самом деле является нашим собственным придуманным объяснением, иногда также для того, чтобы избежать когнитивного диссонанса.
Заключение
Для исследователей и ученых всех мастей очень важно понять, каковы основные движущие силы того, что вызывает предсказание или закономерность, в каком случае. Учитывая сложность и нелинейность современных мировых проблем, мы должны признать, что некоторые модели мы должны принимать такими, какие они есть, и не пытаться их объяснить.
Комментарии? Предложения?
Давайте пообщаемся в Linkedin.
