Летом 2018 года у меня была возможность принять участие в конкурсе MLH Ethical Technology Initiative с моим удивительным партнером Стефани Лампотанг. Нас пригласили на конкурс для вдумчивого анализа нашего хака World’s Stage на хакатон UC Santa Barbara. World’s Stage отмечает культурное разнообразие, позволяя пользователям искать международные хиты, а затем отображать карту с самым популярным танцевальным видео на эту песню в самых разных городах мира. Однако в ходе нашего анализа мы обнаружили, что - хотя это выглядит всего лишь безобидным приложением - World’s Stage способна поощрять культурное презрение, а не открытие и признание, как предполагалось.

После того, как мы были отобраны из 4500 заявок для перехода в финальный раунд, нам было поручено написать документ по этике, чтобы побороться за главный приз в размере 10 000 долларов США. Эта статья должна была отвечать на некоторые (довольно плотные!) Вопросы:

Мы со Стефани решили ответить на сложный вопрос для первой части: влияние алгоритмической предвзятости на культурную дискриминацию. Отчасти это произошло из-за массового притока недавних новостных статей по этой теме, от алгоритмов машинного обучения полиции, классифицирующих чернокожих как более опасных до алгоритмов обработки естественного языка, предлагающих женщинам менее высокооплачиваемую работу, а отчасти потому, что они действительно хорошо сочетается с World's Stage.

Фактически, по мере разработки нашей статьи мы начали понимать, что закодировали наши собственные врожденные предубеждения в World's Stage, даже не задумываясь об этом: довольно узко определив, что значит быть « лучший город »или« лучшее видео »в рамках нашего проекта, мы исключили ряд потенциальных пользователей, которые могли бы внести свой вклад в ценные культурные перспективы, что противоречит нашей общей цели - охватить культурное разнообразие.

В связи с растущей зависимостью мира от автоматизации и машинного обучения алгоритмическая предвзятость является одной из самых серьезных проблем нашего времени. Как заявил глава Google по искусственному интеллекту Джон Джаннандреа: Настоящий вопрос безопасности, если вы хотите это так называть, заключается в том, что если мы предоставим этим системам предвзятые данные, они будут предвзятыми. Когда дело доходит до культурных вопросов, каждый человек предвзято, осознает он это или нет; различия в местоположении, происхождении и культурном влиянии заставляют людей обладать близорукостью по своей природе. Отсюда следует, что алгоритмы, разработанные людьми, также будут обладать культурной предвзятостью, что приведет к неожиданным и неэтичным последствиям.

Наша работа вошла в число 20 финалистов; Хотя мы не выиграли главный приз, наша статья заставила меня лучше понять, что технологии - даже простые приложения, такие как World’s Stage - могут иметь разрушительные последствия из-за алгоритмической предвзятости. Я особенно хочу поблагодарить MLH за организацию конкурса, Kelly Lampotang за ее проницательную (и столь необходимую) критику и, конечно же, Стефани за ее новаторские идеи и приверженность нашему безумному видению.

Чтобы ознакомиться с нашим углубленным критическим анализом, пожалуйста, ознакомьтесь с полным текстом статьи здесь: О предвзятости: как алгоритмическое неравенство распространяет и увековечивает культурную дискриминацию.