Что такое объяснимый ИИ?

Первоначально опубликовано на веб-сайте Rebellion Research

Поможет ли объяснимый ИИ не пропустить следующий важный шаг в регулировании и этике ИИ?

Что такое объяснимый ИИ? Нравится вам это или нет, но больше нет необходимости демонстрировать, что ИИ лежит в основе многих решений, принимаемых в нашей повседневной жизни.

Эта вездесущность является частью стремления к автоматизации, вполне естественного для человечества. Среди целей этого стремления к автоматизации можно отметить следующие. Стремление к продуктивности. Или желание найти больше времени. И иметь возможность сосредоточиться на задачах, требующих больших когнитивных способностей, например, для продвижения исследований.

Несмотря на технологическое мастерство, достигнутое за счет последовательных инноваций, замена людей в определенных задачах никогда не производилась без возникновения определенных проблем. Позже эти проблемы решаются благодаря различным правительственным постановлениям.

ИИ не исключение:

Возникло много проблем, таких как расовые предубеждения в алгоритмах распознавания лиц. И некоторые из них привели к дискриминации. Помимо дискриминации, на столе также стоят реальные вопросы подотчетности и юридической ответственности.

В некоторых секторах, таких как гражданская авиация, начинает действовать законодательство и ответственность в случае аварий с участием автоматических систем. Но ИИ все еще находится в зачаточном состоянии.

Однако одно отличие от прошлого заключается в том, что ИИ становится все менее и менее понятным и прозрачным. Учитывая, что машина может превзойти наши когнитивные способности. Иногда мы вынуждены принять непрозрачность некоторых моделей.

С другой стороны, будет появляться все больше и больше правил, направленных на решение этих различных проблем. Однако что они сделают, чтобы решить эту проблему оптимальным образом, то есть без снижения производительности этих технологий?

Может ли объяснимый ИИ стать решением?

Прежде всего, источник проблемы — прозрачность. Мы всегда это ценили, особенно когда речь шла о важных решениях. Когда сектор имеет решающее значение (преступления, кредиты, здравоохранение, страховые полисы и т. д.), на принятие решений возлагается огромное доверие.

Если что-то пойдет не так. Мы должны знать, кто несет ответственность за то, что произошло. Еще одна полезность — учиться на своих ошибках. Если взять к примеру авиацию. Почти все данные и решения, принимаемые пилотом или автопилотом, тщательно записываются и сохраняются. Помимо ответственности, это помогает избежать повторения тех же ошибок и в целом повышает нашу безопасность.

Прозрачность — основа нашего общества и нашего мышления, если мы верим в науку, то потому, что ее можно проверить; вы можете получить доступ ко всем исследованиям и демонстрации. Это очень усложняет конкуренцию.

Нужна ли нам полная прозрачность?

Контрпримером этого могут быть политические лидеры. Мы доверяем им принятие важных решений за нас, даже если они могут совершать ошибки или действовать в своих интересах.

Поэтому мы не ищем полной прозрачности. И нам просто нужен приемлемый порог, который заставит нас чувствовать себя в безопасности и комфортно, но при этом даст нам некоторый предельный контроль. Мы принимаем делегирование власти, потому что компенсируем его возможностью отстранять людей от власти, если они совершают серьезные ошибки.

Кроме того, наличие у наших лидеров ограниченного по времени пребывания в должности гарантирует населению определенный контроль.

Дело в том, что доверие к технологиям на самом деле не очень широко распространено, и трудно совместить возможности и контроль, если мы хотим использовать ИИ в полной мере. Чтобы получить ценность, которую обещают технологии и глобальная автоматизация, нам нужно позволить им принимать решения с максимально возможной автономией. Но это будет означать все меньше и меньше контроля со стороны людей.

Объяснимая автоматизация ИИ

Автоматизация также всегда была источником очень противоречивых дебатов по поводу подотчетности. Удалив как можно больше людей в очень сложных системах. Мы можем отслеживать, кто несет ответственность, когда что-то идет не так, что исторически было очень сложной задачей для корпоративных менеджеров.

Поскольку ИИ лежит в основе нашей жизни, данные и регулирование ИИ не сосредоточены в нужном месте, и это только вопрос времени, когда они сосредоточатся на предвзятости и прозрачности ИИ, а не на хранении и использовании данных.

Но если модели слишком сильно привязаны к критически важным процессам принятия решений (кредиты, преступность и т. д.), реформировать их может быть слишком поздно и очень дорого. Однако такие инициативы, как GDPR, помогли перенаправить глобальные дебаты в сторону регулирования ИИ.

Кроме того, сложные модели ИИ — это настоящие черные ящики, которые человек не может интерпретировать. И проблема в том, что чем больше мы продвигаемся во времени, тем задачи, которые мы хотим автоматизировать, становятся более сложными и включают в себя многоуровневый процесс намерения.

Чтобы решить эту проблему, исследователи использовали подход, который заключался в том, чтобы поставить цель выше средств ее достижения. Почти в каждой модели машинного обучения основной используемой метрикой является ошибка между тем, что предсказала наша модель, и тем, что она должна была предсказать.

Поскольку мы не до конца понимаем, как человеческий разум работает для принятия решений, мы предположили, что не будет проблемой, если наши модели будут иметь слепую часть, которая «имитирует» непонятную часть человека.

И это действительно сработало!

Глубокие нейронные сети очень хорошо работают для таких задач, как распознавание изображений. Но откажитесь от прозрачности процесса принятия решений. Мы знаем, как это работает теоретически, потому что мы построили это. Однако мы понятия не имеем, как он себя ведет из-за сложности модели.

Сделаем шаг назад

Если мы хотим, чтобы что-то принимало за нас важные и жизненно важные решения, мы хотим, чтобы это было очень прозрачно и объяснимо. Таким образом, мы чувствуем себя комфортно с его целью, и нам легче доверять ему.

И именно поэтому правительственные или институциональные решения занимают так много времени. Прозрачность является основой демократии. Но мы хотим, чтобы наши модели выполняли сложные задачи. И тогда прозрачности меньше. Мы попадаем в ловушку компромисса. Компромисс между производительностью и прозрачностью.

На самом деле, это не проблема. Особенно, когда решения не подразумевают юридической ответственности или риска дискриминации.

Объяснимый ИИ можно рассматривать как потенциальное решение этой проблемы. И этот термин — неологизм, используемый с 2004 года в исследованиях и дискуссиях по машинному обучению.

В настоящее время не существует универсального определения объяснимого ИИ. А программа XAI Агентства перспективных исследовательских проектов Министерства обороны (DARPA) определяет цели объяснимого искусственного интеллекта со следующими требованиями.

Он должен включать объяснимые модели. Не отказываясь от своей большой способности к обучению. Также следует обеспечить, чтобы будущие пользователи могли понять новое поколение искусственного интеллекта. И доверять им в пределах разумного. А также эффективно использовать и работать с ними.

Сегодня наиболее распространенными объяснимыми методами ИИ являются:

Послойное распространение релевантности (LRP — 2015 (1)). Цель этого метода — определить, какие входные векторы вносят наибольший вклад в выходные данные. Например, это может помочь изолировать предубеждения.

Метод контрфакта (2) используется для описания того, как входные данные преобразуются во время прогнозирования модели. Например, при просмотре изображений. Этот метод может разбить основные черты или формы изображения, которое он пытается классифицировать.

Для распознавания лиц это было бы полезно, потому что, если бы цвет кожи использовался в качестве фактора дифференциации, мы бы фактически знали, что у нашей модели есть проблема, и не подвергались бы статистическому выводу.

The Local Interpretable Model-Agnostic Explanations (LIME — 2016 (3)) — это модель, использующая целостный подход. Это объясняет, почему некоторые точки данных были классифицированы определенным образом. И он аппроксимирует любую модель локальной интерпретируемой моделью для объяснения каждого отдельного прогноза.

Итак, каковы объяснимые недостатки ИИ?

У всех этих методов есть один существенный недостаток: они решают проблему уже после того, как модель реализована.

Мы должны быть в состоянии создавать и развивать модели, учитывающие объяснимость. И все промежуточные намерения через процесс принятия решения.

Промежуточные решения и процессы должны иметь метрики, предназначенные для них. Особенно когда речь идет об оценке моделей.

Понимание ИИ — это еще не все. Нам нужно иметь возможность легко изменить его, если мы хотим внедрить объяснимый ИИ в будущем.

Автор Адам Рида

Под редакцией Джек Аргиро и Райана Каннингема