Кэти О’Нил была одним из самых важных общественных деятелей, выразивших озабоченность по поводу неизбирательного использования алгоритмов при принятии решений и той опасности, которую это представляет для общества. Для многих из нас ее книга Оружие разрушения математики стала мощным мотиватором для нашей работы и для наших студентов, что еще больше озадачивает то, что она написала New York Times Op-Ed, в котором академиков обвиняют в засыпать за рулем , когда речь идет о том, чтобы говорить и писать о роли алгоритмов в обществе. Вот четыре способа, которыми ее статья неправильно формулирует проблемы и искажает основные факты.

Удар вниз, а не вверх

Ученые (и исследователи в целом) ведут крайне асимметричную борьбу против ненадлежащего использования и злоупотребления алгоритмами. У нас часто нет доступа к данным или к лежащим в их основе алгоритмам (потому что они часто являются проприетарными), и может даже быть незаконным зондировать API, чтобы определить, что делают некоторые из этих процессов. Несмотря на эти препятствия, существует активное и процветающее академическое сообщество, работающее над выявлением и решением этих проблем. Так зачем придираться к людям, пытающимся их исправить? Вместо этого, почему бы не привлечь к ответственности тех, кто обладает всей властью и ресурсами, которые поддерживают их?

Он противопоставляет научные круги и промышленность

Обсуждая дискуссию о неспособности академических кругов служить эффективной опорой против злонамеренных или неосторожных участников отрасли, статья создает ложную дихотомию между академическим сообществом и промышленностью. Есть много мыслителей, которые первыми предприняли усилия по созданию более совершенных и справедливых алгоритмов, работая в промышленности, и существует несколько отраслевых инициатив, посвященных этим же целям. Настоящая напряженность здесь возникает между учеными (в академических кругах, в промышленности, некоммерческих организациях или в правительстве), изучающими эти проблемы, и технологами, бездумно внедряющими решения.

Он игнорирует то, насколько ученые уже эффективны

Op-Ed утверждает, что ученые молчат, поскольку промышленность продвигается вперед с использованием (и злоупотреблением) алгоритмами. Фактически, исследователи сделали удивительные открытия о том, что происходит в процедурах принятия решений в черном ящике, несмотря на ограниченный доступ к данным, связанным с этими процедурами. Более того, ученые первыми разработали справедливые и прозрачные алгоритмы, которые могут использоваться отраслью или государственными учреждениями, если они захотят их принять. Сообщая свою работу журналистам, ученые также сыграли огромную роль в формировании общественного дискурса по вопросам алгоритмической справедливости и подотчетности.

В статье также намеренно упускаются из виду явные свидетельства того, что исследователи взаимодействуют с правительством и промышленностью в различных сферах деятельности. Во всем мире политики, регулирующие органы, практики и защитники работают с учеными, чтобы выработать новый консенсус в отношении того, как алгоритмическое принятие решений вписывается в общество в целом и какие механизмы управления необходимо внедрить.

Наконец, ученые активно обучают следующее поколение практиков разрабатывать и применять алгоритмы, уделяя внимание их социальному влиянию. Исследования в области науки и технологий, помимо других областей, уже давно рассматривают эти темы, но новые курсы по этике и справедливости все чаще предлагаются на факультетах информатики.

Не учитывает, как далеко мы зашли

Доктор О'Нил жалуется, что академические исследователи не говорят об этих проблемах. В качестве критики информатики ее комментарий, возможно, был уместен в 2007 году, но только в последние несколько лет произошел взрыв интереса и исследований в области справедливости, подотчетности и прозрачности в этой области. Одним из показателей является быстрый рост серии семинаров FATML (справедливость, подотчетность и прозрачность), кульминацией которых стала конференция FAT *, проходящая в феврале этого года в Нью-Йорке. Фактически, в этой области был достигнут такой значительный результат исследований, что некоторые площадки расширились, чтобы охватить не только машинное обучение, но и широкий спектр дисциплин, включая другие субдисциплины информатики, статистики, социальных наук, права, государственной политики, и т.д. Кроме того, эта работа получает одобрение на основных конференциях по информатике, включая награды за лучшую работу на конференциях ICML, UAI и EMNLP.

Мы согласны с доктором О’Нилом в том, что на данный момент количество случаев злоупотребления алгоритмами намного превышает количество историй успеха. И мы взяли на себя обязательство работать в этой области, чтобы улучшить это положение дел. Но он посылает совсем другое сообщение, когда в редакционной статье утверждается, что ничего не делается. Есть тон отчаяния и тревоги, который просто не отражает реальности того, как много делается. И такой тон может привести к пораженчеству и увековечить ложные представления о науке, противоречащей потребностям общества. Хотя нам еще предстоит пройти долгий путь, определенно есть место для оптимизма в отношении траектории и темпов развития.