Ежегодно более 10 миллионов американцев попадают в тюрьму, после чего судья решает, отпустить ли подсудимого под залог. Часто за насильственные преступления или рецидивистов судья отказывает человеку в освобождении под залог до суда. Решения об освобождении под залог принимаются судьей с использованием различных факторов, но они показали свою предвзятость по расовому признаку. Машинное обучение (ML) рекламируется как панацея для принятия решений, включая решение об освобождении под залог, и считается более эффективным, интеллектуальным и справедливым. К сожалению, исследования показали, что модели машинного обучения могут учиться и усугублять социальные предубеждения, часто так же плохо, как люди-судьи при принятии справедливых решений.

Мы разработали FairVis, чтобы пользователи могли обнаружить, какие предубеждения могли закодировать модель машинного обучения. Это позволяет пользователям быстро создавать и исследовать различные группы людей (например, всех латиноамериканских мужчин), чтобы проверить, несправедливо ли к ним относится модель. Кроме того, мы разработали и внедрили алгоритм, который автоматически генерирует и предлагает неэффективные группы населения, которые пользователь может захотеть изучить. Интерактивная веб-система позволяет пользователям быстро проверять свои наборы данных и модели.

Модели машинного обучения учатся на человеческих данных

Системы машинного обучения и искусственного интеллекта хвалят за сверхчеловеческую производительность и способность принимать решения, но они учатся на экстраполяции прошлых данных. Если данные, используемые для обучения, предвзяты, модель будет давать необъективные решения.

Давайте рассмотрим проблему решения об освобождении под залог сверху. Представьте, что набор данных, используемый для обучения системы, состоит из информации обвиняемых и решений судьи. Используя этот набор данных, модель ML не узнает основную истину о том, кому должно быть отказано в освобождении под залог, но научится принимать решения, отражающие решения судьи. По сути, система ОД обучена отражать предвзятые решения, принимаемые судьями.

Предубеждения могут быть встроены в модели машинного обучения множеством дополнительных способов, включая недопредставление данных, искаженные метки и ограниченные возможности. Распространенность предвзятости в пользовательских данных указывает на то, что инженерам следует начинать с предположения, что в их моделях есть вероятные предубеждения, которые они должны исследовать.

Предубеждения часто бывают скрытыми и сложными

Хотя кажется несложным определить, является ли модель машинного обучения предвзятой, это может быть удивительно сложной, если не невозможной проблемой. Это в первую очередь связано со следующими двумя причинами:

Межсекторная предвзятость. Обнаружить смещение для простых групп легко - разделите набор данных по признаку, например по полу, и посмотрите, как группы работают по отношению друг к другу (например, модель имеет более низкую точность для женщин, чем для мужчин). Но предвзятость часто присутствует только в межсекторальных группах, например, в группе азиатских женщин, родившихся в Европе. Если вы посмотрите на все комбинации расы, пола и места рождения, вам, возможно, придется сравнить сотни, если не тысячи групп.

Теорема о невозможности справедливости. Кроме того, концепция честного алгоритма представляет собой проблему со множеством нюансов, и в некоторых исследованиях предлагается более 20 различных определений этой концепции. Еще больше усложняет проблему недавнее исследование, доказавшее так называемую теорему невозможности справедливого машинного обучения. Он обнаружил, что некоторые определения справедливости несовместимы, и поэтому невозможно обучить модель, которая была бы справедливой для всех определений. В таких ситуациях справедливость становится общественным вопросом, в решении которого специалисты по обработке данных и общественность вынуждены идти на трудный компромисс.

Пример использования - обнаружение предвзятости с помощью FairVis

Ниже мы показываем простой пример того, как кто-то может использовать FairVis для аудита существующей области, модель прогнозирования рецидивизма COMPAS.

В (A) пользователь выбирает признаки расы и пола, чтобы сгенерировать все подгруппы их комбинаций значений (мужчина европеоидной расы, женщина европеоидной расы, мужчина афроамериканца и т. Д.). Пользователя беспокоит количество ложных срабатываний, процент ответчиков, которым ошибочно отказано в освобождении под залог, поэтому в (B) она добавляет показатель в интерфейс и смотрит на график полосы. Она выбирает группы с наибольшим и наименьшим количеством ложных срабатываний, афро-американских мужчин и мужчин европеоидной расы соответственно, и исследует их далее в (C). Наконец, она обнаруживает, что расхождение в количестве ложноположительных результатов не полностью объясняется разницей в базовых показателях, и решает продолжить расследование, чтобы устранить эту систематическую ошибку.

Вывод

FairVis был разработан, чтобы сделать обнаружение предубеждений в моделях машинного обучения более доступным для специалистов по данным и широкой общественности. За последние несколько лет произошел всплеск систем визуальной аналитики, которые помогают людям понимать и разрабатывать модели машинного обучения. FairVis продолжает это направление исследований, специально предназначенных для выявления предвзятости в моделях машинного обучения.

Мы надеемся, что FairVis - это шаг к инструментам, ориентированным на человека, которые позволят нам разрабатывать ответственное и этичное машинное обучение, приносящее пользу всем.

Вы можете попробовать демоверсию FairVis здесь или ознакомиться с одним из следующих вариантов:

Авторы

Эта работа была проведена в Технологическом институте Джорджии

Анхель Александр Кабрера, аспирант Карнеги-Меллона
Уилл Эпперсон, студент-бакалавр Технологического института Джорджии
Фред Хохман, аспирант Технологического института Джорджии
Минсук Кан , доцент Университета штата Орегон
Джейми Моргенштерн, доцент Вашингтонского университета
Дуэн Хорнг (Поло) Чау, доцент Технологического института Джорджии

Благодарности

Эта работа стала возможной благодаря грантам NSF IIS-1563816, CNS-1704701 и TWC-1526254, стипендии НАСА по исследованию космических технологий и стипендии Google PhD.