Машинное обучение и методы обработки естественного языка привлекли большое внимание. Сложные структуры и впечатляющие результаты этих методов использовались в различных условиях нашей жизни. Но подождите, должны ли мы быть более вдумчивыми, когда применяем эти методы?

Адам Тауман Калай, главный исследователь Microsoft, делится своим исследованием в рамках Предвзятости в Bios: справедливость в условиях машинного обучения с высокими ставками.

Обзор предвзятости

«Предвзятость» имеет математическое определение в машинном обучении. Смещение — это ошибка алгоритма обучения, которая приводит к чрезмерному обобщению и недостаточной подгонке. Существует еще один тип предвзятости машинного обучения, который может повлиять на разные группы населения. Последний вид предвзятости обсуждается меньше, но он может нанести вред, если мы его проигнорируем.

Вредная предвзятость

Эксперт по искусственному интеллекту Кейт Кроуфорд подробно описывает два вида вреда, вызванного предвзятостью второго типа: аллокативный вред и репрезентативный вред.

Распределительный вред — это прежде всего экономический взгляд на то, как системы распределяют или удерживают возможности или ресурсы, такие как предоставление ссуды или содержание в тюрьме. Вред репрезентации выходит за рамки аллокативного вреда, причиняющего вред репрезентации. Эти предубеждения усиливают подчинение групп по признаку идентичности и влияют на то, как группы или отдельные лица воспринимаются в обществе (Crawford, 2017).

Усугубляющие предубеждения

Адам Калаи также вводит понятие «комбинированных предубеждений». Вред репрезентации является одним из усугубляющих результатов предубеждений. Он перечисляет, как составные части формируются во времени:

  • Неравное представительство в оккупации
  • Неравные рекомендации по работе
  • Неравный отбор резюме
  • Неравное автоматическое ранжирование
  • Неравные автоматизированные акции
  • Меньше образцов для подражания, недопредставленная группа даже не пытается

Усугубление несправедливости

У многих из нас есть опыт автоматических рекомендаций по работе. Это прямое применение методов машинного обучения. Системы автоматических рекомендаций оказывают серьезное бессознательное влияние на наш образ мышления, например, сочетание «медсестры» с «женской» работой и «программиста» с «онской» работой. Это еще больше усугубляет текущую ситуацию.

Вывод

К счастью, предубеждения в алгоритме машинного обучения, в отличие от человеческого, можно довольно легко обнаружить. Легко ввести алгоритмические поправки, чтобы смягчить это усиление смещения.