РАСКРЫТИЕ ПРЕДВАРИТЕЛЬНОСТИ
Что общего у студента, кодирующего в белой маске, с мужчиной из Новой Зеландии, который борется с фотографией на паспорт? Оба человека оказались на неправильной стороне вычислительных решений.
Мужчина азиатского происхождения ошибочно зарегистрировал свои глаза как закрытые с помощью программного обеспечения для распознавания лиц, которое проанализировало его фотографию во время взаимодействия с автоматической системой обновления паспорта.
В моем случае я носил маску, потому что мое голое лицо не всегда распознавалось программным обеспечением для распознавания лиц. Мы оба испытали исключение из, казалось бы, нейтральных машин, запрограммированных с помощью алгоритмов-закодированных процессов.
Мы не одиноки. Наши индивидуальные встречи с предвзятостью, заложенной в закодированные системы, - явление, которое я называю закодированным взглядом, - всего лишь тени постоянных проблем с включением в технологии и машинное обучение.
В этом посте я рассказываю о мотивации создания Лиги алгоритмической справедливости для борьбы с закодированным взглядом, а также о прогрессе, достигнутом в выявлении алгоритмических предубеждений на таких площадках, как TEDx и Музей изящных искусств в Бостоне. Я также обсуждаю следующие шаги по выявлению и смягчению предвзятости с помощью распознавания лиц.
ПОЧЕМУ МЫ ДОЛЖНЫ ЗАБОТИТЬСЯ?
Алгоритмическая предвзятость, как и человеческая предвзятость, может привести к несправедливости. В своей книге «Оружие разрушения математики» специалист по анализу данных Кэти О’Нил пишет о появлении нового оружия массового уничтожения: широко распространенных, загадочных и разрушительных алгоритмов, проникающих во все слои общества.
Алгоритмы машинного обучения используются для принятия решений о трудоустройстве, доступе к ссудам или страховке, поступлении в колледж и даже тюремном заключении.
Например, правоохранительные органы применяют машинное обучение для прогнозирования полицейской деятельности. Некоторые судьи используют машинные оценки риска для определения срока тюремного заключения.
Полицейские департаменты США расширяют свои арсеналы по борьбе с преступностью с помощью программного обеспечения для распознавания лиц, которое использует машинное обучение. Джорджтаун Ло опубликовал отчет, показывающий, что каждый второй взрослый в США, то есть 117 миллионов человек, имеет свои изображения в сети распознавания лиц. В настоящее время полицейские управления могут обыскивать эти лица без каких-либо правил, используя алгоритмы, точность которых не проверялась.
Поскольку алгоритмы могут иметь последствия в реальном мире, мы должны требовать справедливости.
Чтобы бороться с закодированным взглядом, я приглашаю вас присоединиться к Лиге алгоритмической справедливости - коллективу неравнодушных граждан, художников, исследователей и активистов. Мы работаем для:
Выявление алгоритмической предвзятости. Мы разрабатываем инструменты для тщательной проверки предвзятости в машинном обучении, начиная с программного обеспечения для распознавания лиц.
Снижение алгоритмической предвзятости. Мы стремимся разработать методы для полного включения в процесс проектирования, разработки, тестирования и развертывания кодированных систем, где это необходимо.
Подчеркните алгоритмическую предвзятость: мы создаем средства массовой информации и организуем обучающие мероприятия, чтобы показать необходимость алгоритмической справедливости.
ПРОГРЕСС
В мае я призвал к Движению InCoding, направленному на создание мира с культурой включения, где технологии служат всем нам и центрируют социальные изменения.
ВЫСОКОЕ ПРЕДВАРИТЕЛЬНОЕ Смещение
Нейтралитет машин?
Чтобы подчеркнуть необходимость инклюзивного кода, я разработал видео InCoding Manifesto. Это видео является частью более масштабных усилий по созданию доступных средств массовой информации, чтобы познакомить широкую аудиторию с концепцией закодированного взгляда - алгоритмической предвзятости.
4 ноября выставка Coded Gaze дебютировала в Музее изящных искусств в Бостоне, и был показан манифест InCoding. Вскоре после того, как я выступил с докладом на TEDxBeaconStreet, который доступен для просмотра ниже.
СЛЕДУЮЩИЕ ШАГИ
Признание алгоритмической предвзятости на публичных форумах необходимо, но этого недостаточно для решения постоянных проблем. Как научный сотрудник MIT Media Lab, я работаю над созданием инструментов для выявления предвзятости в программном обеспечении для распознавания лиц и разрабатываю систему показателей для включения всего спектра. Насколько мне известно, не существует службы, постоянно отслеживающей точность программного обеспечения для распознавания лиц или разнообразие обучающих данных, используемых этим программным обеспечением.
Коалиция 52 групп гражданских прав во главе с Американским союзом гражданских свобод направила письмо в Министерство юстиции США, в котором говорится:
Системы распознавания лиц мощные, но они также могут быть необъективными. Таким образом, мы призываем Департамент юстиции (DOJ) по гражданским правам (CRT):
1. Расширить текущие расследования деятельности полиции и включить в будущие расследования изучение того, оказало ли использование технологий наблюдения, в том числе технологии распознавания лиц, разрозненное влияние на цветные сообщества; а также
2. Проконсультируйтесь и посоветуйте Федеральному бюро расследований (ФБР) выяснить, оказало ли использование технологий распознавания лиц разрозненное влияние на цветное сообщество.
Надеюсь, Министерство юстиции прислушается к этому призыву. Тем временем Лига алгоритмической справедливости разрабатывает инструменты для отслеживания предвзятости в существующем программном обеспечении для распознавания лиц. Наряду с инструментами для точного выявления предвзятости, также должны быть способы смягчения предвзятости. Снижение предвзятости - это не просто техническая задача. Как и когда следует использовать машинное обучение, является предметом постоянных дискуссий. Остаются вопросы о подходящих подходах к смягчению последствий.
Стоимость включения
Если выявлена предвзятость, следует ли вообще отказаться от использования программного обеспечения или работать над минимизацией предвзятости? Если AJL запустит кампанию #selfiesforinclusion, улучшившую распознавание лиц, не подвергнем ли мы непреднамеренно более уязвимые группы несправедливого контроля? Как можно справиться с такими рисками? Кому следует обращаться к ним?
Стоимость исключения
Если мы не будем улучшать системы, и они будут продолжать использоваться, каковы последствия того, что невиновные люди будут идентифицированы как подозреваемые в совершении уголовных преступлений? Учитывая появление беспилотных автомобилей, можем ли мы позволить себе иметь системы обнаружения пешеходов, которые не могут постоянно обнаруживать определенную часть населения? Кто имеет право решать, как нам двигаться дальше?
На данный момент у меня больше вопросов, чем ответов. Однако возможность проверки существующих систем распознавания лиц на предмет предвзятости поможет обосновать необходимость тестирования всего спектра развивающихся технологий.
СОТРУДНИЧЕСТВО
В конце концов, борьба с закодированным взглядом станет постоянным коллективным усилием. Распознавание лиц - лишь одна из областей, требующих решения. Создавая инструменты для включения всего спектра, Лига алгоритмической справедливости может разработать системы для отслеживания предвзятости в других областях, где используется машинное обучение.
Любой, кто заботится о справедливости, может участвовать, помогая повысить осведомленность, сообщая о случаях подозреваемой предвзятости или запрашивая аудит программного обеспечения.
В настоящее время мы изучаем возможности сотрудничества с такими организациями, как Bocoup, технологическая компания с открытым исходным кодом, которые выразили заинтересованность в помощи в создании инструментов включения полного спектра. Если вы хотите узнать больше или принять участие, не стесняйтесь обращаться в Лигу алгоритмической справедливости. Мы находимся в MIT Media Lab, и с нами можно связаться по адресу www.ajlunited.org.
Концовка этой истории еще не определена ...
Джой Буоламвини - поэт кода с миссией проявлять сострадание через вычисления. Она пишет о кодировании и создает обучающий опыт для разработки технологий социального воздействия. Найдите ее в Твиттере @jovialjoy и @ajlunited, подключитесь к LinkedIn или Facebook.
