Покончим с алгоритмической дискриминацией
Можно восстановить человеческий контроль над силой принятия решений прогнозными алгоритмами и положить конец их дискриминационному воздействию на малообеспеченных слоев населения.
Академические исследователи и журналисты-расследователи продемонстрировали случай за случаем, что, когда организации передают решения алгоритмам прогнозирования, это может привести к результатам, предвзятым против пола, расы и класса, воспроизводя неравенство, уже существующее в обществе.
Чтобы проиллюстрировать на практике потенциальный вред, наносимый прогностическими алгоритмами в реальном мире, представьте себя афроамериканкой, ищущей новую работу. Когда вы вводите ключевые слова в Google, поисковая система показывает вам серию релевантных объявлений о вакансиях. Но, как показали профессор Карнеги-Меллона Аннупам Датта и его коллеги, Google показывает рекламу престижных вакансий мужчинам почти в шесть раз чаще, чем женщинам.
Это один из тонких способов, с помощью которых алгоритмическая реклама увековечивает уже существующий гендерный разрыв на рынке труда. А теперь представьте, что вы все еще проходите собеседование по поводу работы, для которой вы полностью соответствуете требованиям. На собеседовании ваш потенциальный работодатель спрашивает о вашей криминальной истории. Вы озадачены. Он сказал, что ваше имя появилось в поисковой рекламе Google со ссылкой на ваше досье об аресте.
Как показала профессор Гарвардского университета Латанья Суини, при поиске в Интернете 2000 имен, вызывающих расовую принадлежность, поисковые запросы с афроамериканскими именами имели на 25 процентов более высокую вероятность того, что им будут показаны объявления об аресте.
Тем не менее, вы объясняете, что вас никогда не арестовывали. После того, как это алгоритмически возникшее недоразумение будет устранено, вы получите работу. Поздравляю! Теперь у вас есть экономические средства для покупки дома, и вы начинаете его искать. Вы используете Facebook в качестве отправной точки, и ваши поисковые запросы сразу же встречают релевантную таргетированную рекламу.
Однако по какой-то причине вы не видите рекламы домов в престижном многообещающем районе, в который собираетесь въехать. Вероятно, это связано с тем, что Facebook позволил рекламодателям исключать пользователей из просмотра рекламы на основании их« этнической принадлежности », плохо скрываемого прокси-сервера для расы и одной из десятков тысяч категорий, которые Facebook использует алгоритмы прогнозирования для сортировки пользователей.
Этот гипотетический отчет показывает, как реклама, управляемая алгоритмами прогнозирования, кодирует стереотипы и предубеждения с реальными дискриминационными результатами для конечных пользователей. Но управляемая алгоритмами расовая и гендерная дискриминация - далеко не только проблема интернет-рекламы.
Принятие алгоритмических решений применяется во многих областях, влияющих на жизнь миллионов людей. Помимо рынков труда и жилья и рекламы в целом, алгоритмическое принятие решений применяется в таких областях, как полицейская деятельность, система уголовного правосудия, система образования и рынок страхования. Во всех этих областях результаты решений, принятых с помощью алгоритмов прогнозирования, могут иметь потенциально дискриминационные и пагубные последствия.
В своей книге Оружие математического разрушения математик Кэти О’Нил описывает, как эти и другие поля искажаются алгоритмическими предубеждениями. В качестве универсального термина для этого эффекта она придумала термин, являющийся названием ее книги. Она определяет оружие математического уничтожения (ОМУ) по трем основным характеристикам: непрозрачность, урон и масштабируемость.
Прежде всего, почти никогда не бывает прозрачно, как алгоритмы приходят к своим предсказаниям, что делает практически невозможным обжалование или обращение за помощью против несправедливых решений, которым они помогают. Во-вторых, реальный вред причинен реальным людям, и этот вред усиливается в петлях обратной связи, где алгоритм становится еще более предвзятым с новым вводом. Наконец, возможность широкого применения алгоритма в обществе позволяет масштабировать этот ущерб на широкие слои населения.
Алгоритмы прогнозирования необъективны, потому что мы
Причина, по которой алгоритмы имеют социальные предубеждения, не в злой воле со стороны их разработчиков. Это результат того, как машинное обучение работает на самом фундаментальном уровне.
Наиболее широко используемый сегодня алгоритм прогнозирования, так называемое машинное обучение с учителем, работает путем распознавания закономерностей отношений в наборах больших данных. Но для этого алгоритм должен быть обучен, скармливая ему огромные объемы исторических обучающих данных. Используя эти данные, алгоритм строит модель мира, которая затем используется для вывода аналогичных закономерностей в новых наборах данных.
Если эти обучающие данные смещены из-за дискриминации, уже имеющей место в мире, который они представляют, это смещение воспроизводится в модели алгоритма. Будь то сознательная дискриминация или основанная на врожденных предубеждениях, результат один и тот же: алгоритм принятия решений наследует и увековечивает неравенство общества, в котором он был создан.
Даже если разработчики приложили все усилия, чтобы избавить данные обучения от конфиденциальных категорий, таких как раса, в модели может проявиться предвзятость, поскольку эти категории можно вывести из других данных. Например, в обществе с высокой степенью сегрегации расу часто можно определить по географическим данным.
«Мусор на входе, мусор на выходе» - старая поговорка в информатике. То же самое и с алгоритмами прогнозирования: смещение, смещение.
Черные ящики внутри черных ящиков
Поскольку эти, казалось бы, нейтральные алгоритмы используются для принятия решений о жизни реальных людей, их влияние может быть несправедливым или даже разрушительным, если они содержат скрытые предубеждения.
Живя в демократическом обществе, мы ожидаем, что государственные учреждения будут справедливыми, прозрачными и подотчетными. Мы ожидаем, что решения, которые влияют на нашу жизнь, будут подчиняться верховенству закона, что позволит требовать объяснений, а также обжаловать и возместить те решения, которые основаны на ошибочных предпосылках.
Однако все больше и больше административных решений, влияющих на повседневную жизнь, принимается с использованием алгоритмов, которые представляют собой «черные ящики», то есть системы, в которых мы можем только наблюдать, что входит и что выходит, но не то, что происходит вне поля зрения.
Непрозрачность этих алгоритмов носит как организационный, так и технический характер.
Организации часто будут сопротивляться предоставлению общественности информации о своей внутренней работе, если они не обязаны по закону предоставлять открытые записи по запросу. И даже тогда разработчики алгоритмов часто обращаются с ними как с коммерческой тайной, делая их работу недоступной для публики.
С технической стороны многие алгоритмы машинного обучения настолько запутаны, что даже их разработчикам трудно объяснить, как они на самом деле работают.
Если у общественности нет возможности понять, как принимаются алгоритмические решения, нет способа указать на источники их предубеждений. В свою очередь, это делает невозможным привлечение организаций к ответственности за несправедливое и неравное влияние их решений.
Если мы не предпримем шагов для повышения прозрачности алгоритмического принятия решений, алгоритмы продолжат стимулировать социальное неравенство, воспроизводя предубеждения и дискриминацию, уже укоренившиеся в обществе.
Как добиться равенства перед алгоритмом
Есть три основных способа противодействия дискриминации с помощью алгоритмов.
На базовом уровне отсутствие разнообразия в технологическом секторе является одной из причин того, что алгоритмическая предвзятость влияет на решения. Большинство разработчиков этих систем пользуются привилегиями, когда речь идет о гендерной и расовой дискриминации. Увеличение разнообразия в технологическом секторе откроет некоторые из неосознанных предубеждений и предположений, которые в противном случае остаются незамеченными при развитии технологий.
Однако самого по себе увеличения разнообразия в технологическом секторе недостаточно для обеспечения справедливости решений, принимаемых с помощью алгоритмов. Правовая ответственность и санкции одинаково необходимы.
Хотя невозможно регулировать алгоритмы так, чтобы сделать их беспристрастными и справедливыми, можно противостоять вреду, который наносят предвзятые решения, которые они принимают. Это можно сделать, применив правовой подход, называемый теорией разрозненных воздействий. Эта правовая концепция направлена на смягчение последствий дискриминации в отношении определенных групп, независимо от того, намерена ли такая дискриминация или нет.
Наконец, что, возможно, наиболее важно, необходимо вскрыть черные ящики и разработать стандарты алгоритмической прозрачности, чтобы эффективно противодействовать их предубеждениям и возникающей в результате дискриминации.
Восемь шагов к алгоритмической прозрачности
Роберт Браунейс и Эллен П. Гудман - профессора права соответственно в Университете Джорджа Вашингтона и Университете Рутгерса. В документе 2017 года они обрисовывают восемь критериев, которые разработчики должны сделать доступными для общественности, чтобы иметь правильное представление об алгоритмах прогнозирования, влияющих на их жизнь:
- Прогностические цели алгоритма и проблема, которую он призван решить.
- Данные обучения считаются важными для достижения прогнозных целей.
- Исключенные данные обучения и причины их исключения.
- Фактические прогнозы алгоритма в отличие от его прогнозных целей.
- Аналитические методы, используемые для обнаружения закономерностей в данных.
- В алгоритме закодированы другие варианты политики, помимо исключения данных.
- Проверочные исследования или аудит алгоритма после внедрения.
- Объяснение простым языком того, как алгоритм делает прогнозы.
Восемь критериев Брауниса и Гудмана могут быть использованы в качестве пошагового руководства для разработчиков алгоритмов по достижению степени прозрачности, достаточной для демократического общества.
Алгоритмы используются для прогнозирования как средства решения проблемы. По мере разработки алгоритма ряд различных типов данных может считаться релевантным, в то время как легкодоступные данные также могут быть исключены, например, из-за низкого качества данных или рисков конфиденциальности. И после того, как алгоритм был обучен, его прогнозы могут отличаться от исходных прогнозных целей. Раскрытие условий успеха и способов их достижения позволит общественности оценить, соответствует ли алгоритм своей цели.
В этом процессе существует лишь ограниченное количество методов статистического анализа, которые фактически используются для поиска предсказуемых закономерностей в наборах данных. И ключевое политическое решение в этом анализе состоит в том, как взвесить ложные отрицательные и положительные результаты, то есть сделать выбор: либо ошибиться, либо упустить реальные модели, либо увидеть их там, где их нет. Выбор техники и взвешивания является важным общественным мнением.
Проверка, то есть попытка убедиться, что алгоритм работает так, как задумано, важна для обнаружения ошибок и предвзятости в его прогнозах. В качестве альтернативы аудит может быть проведен третьей стороной. Предоставление доступа к одному или желательно обоим поможет придать легитимность алгоритмическим решениям.
Наконец, простое объяснение того, как алгоритм достигает своих прогнозов, является ключом к пониманию общественности. Если слишком сложно объяснить, как работает алгоритм, раскрытие этого факта не менее важно, чтобы общественность знала, что алгоритм - это черный ящик.
Необходим ли открытый исходный код для прозрачности?
Черный ящик многих алгоритмов прогнозирования резко контрастирует с открытой природой многих других в мире технологий, таких как открытые стандарты Интернета и всемирной паутины, а также бесплатное программное обеспечение с открытым исходным кодом, работающее в большей части его инфраструктуры. .
И хотя открытый доступ к исходному коду алгоритмов прогнозирования упростил бы публичные аудиты, по мнению Браунейса и Гудмана, это не является ни необходимым, ни достаточным для того, чтобы сделать процесс принятия решений прозрачным. Как они показывают, документирование различных шагов, на которых может проявиться предвзятость, является более эффективной мерой, чтобы начать контролировать разрозненные воздействия и начать борьбу с широко распространенной алгоритмической дискриминацией.
Для достижения прозрачности организации, которые используют алгоритмы прогнозирования для помощи в принятии решений, должны сделать восемь критериев открытыми для общественности, потому что даже если исследователи имеют доступ к исходному коду, они не обязательно найдут источники возможной дискриминации.
В мире, где полномочия людей по принятию решений передаются алгоритмам прогнозирования, прозрачность выбора, сделанного их разработчиками, необходима для обеспечения подотчетности организаций. Если мы не откроем черные ящики алгоритмов прогнозирования, то организации, которые их применяют, и, как следствие, большая часть общества, станут черным ящиком.
