Минимизация общего справедливого эмпирического риска
ПРИМЕЧАНИЕ РЕДАКТОРА
Лука Онето в настоящее время является адъюнкт-профессором Пизанского университета, и его карьера сосредоточена на проблемах обучения на основе данных, как с теоретической, так и с практической точки зрения. Недавно он заинтересовался проблемой справедливого обучения, без дискриминации и предубеждений. Он выиграл премию AWS Machine Learning Research Award по теме «Алгоритмическая справедливость» и стал соавтором нескольких статей, предлагающих новое понятие справедливости. В этом посте мы попросили его описать практическое значение этой проблемы и его недавних работ для нашей общественности.
Искусственный интеллект (ИИ) быстро превращается в товар. Такая характеристика представляет интерес для крупных ИТ-компаний, но она правильно отражает нынешнюю индустриализацию ИИ. Это явление означает, что системы и продукты ИИ достигают общества в целом и, следовательно, нельзя больше игнорировать социальные проблемы, связанные с использованием ИИ и машинного обучения (МО). Разработка моделей машинного обучения с этой ориентированной на человека точки зрения означает включение соответствующих человеку требований, таких как безопасность, справедливость, конфиденциальность и интерпретируемость, а также учет широких социальных проблем, таких как этика и законодательство. Это важные аспекты для содействия принятию технологий на основе машинного обучения, а также для обеспечения соблюдения развивающегося законодательства, касающегося воздействия цифровых технологий на вопросы этики и конфиденциальности.
В последние годы возник большой интерес к теме алгоритмической справедливости в машинном обучении. Центральный вопрос заключается в том, как улучшить алгоритмы контролируемого обучения с помощью требований справедливости, а именно обеспечения того, чтобы конфиденциальная информация (например, знания об этнической группе человека) не влияла несправедливо на результат алгоритма обучения. Например, если проблема обучения состоит в том, чтобы решить, следует ли предлагать человеку ссуду на основе его предыдущих баллов по кредитной карте, мы хотели бы построить модель, которая не использовала бы несправедливо дополнительную социально значимую информацию, такую как раса или пол.
Одним из известных примеров таких проблем является КОМПАС: это популярный коммерческий алгоритм, используемый судьями и офицерами по условно-досрочному освобождению для оценки вероятности совершения уголовным обвиняемым повторного правонарушения (рецидивизма). Было показано, что алгоритм смещен в пользу белых подсудимых на основании 2-летнего последующего исследования.
Другой пример - исследование Джой Буоламвини и Тимнит Гебру, которое показывает, как три коммерчески выпущенные программы анализа лица от крупных технологических компаний демонстрируют предубеждения как по типу кожи, так и по полу. Результат был также подтвержден в более позднем исследовании Иниолува Дебора Раджи и Джой Буоламвини.
За последние несколько лет в ML были введены несколько понятий справедливости и связанных методов обучения, включая демографический паритет [1], равные шансы и равные возможности [2], неодинаковое обращение, влияние и плохое обращение [3]. Основная идея, лежащая в основе таких понятий, состоит в том, чтобы сбалансировать решения классификатора между различными уязвимыми группами и наборами ярлыков.
Работы по алгоритмической справедливости можно разделить на четыре семейства. Методы в первом семействе модифицируют предварительно обученный классификатор, чтобы улучшить его свойства справедливости, сохраняя при этом в максимально возможной степени эффективность классификации: [2, 4-6] являются примерами этих методов. Методы во втором семействе обеспечивают справедливость непосредственно на этапе обучения, например [7] и ссылки в нем. Третье семейство методов реализует справедливость путем изменения представления данных, а затем использует стандартные методы машинного обучения: [8-13] являются примерами реализации этих методов. Наконец, последнее семейство методов сталкивается с проблемой справедливости через причинность [14, 15]: в этих работах авторы исходят из идеи контрфактической справедливости, которая утверждает, что решение является справедливым по отношению к человеку, если оно совпадает с тем, которое были бы взяты в противоречащем фактам мире, в котором чувствительные атрибуты были другими, и в контексте причинного вывода они предлагают способ компенсации предубеждений на несправедливых путях.
Об авторе
В наших недавних работах [7,16] было показано, что можно определить новое обобщенное понятие справедливости, которое включает хорошо изученные понятия, используемые для классификации и регрессии с категориальными и числовыми чувствительными признаками. Это понятие может быть заключено в принцип минимизации эмпирического риска (ERM), и мы можем использовать его для получения статистических границ, которые подразумевают свойства согласованности как с точки зрения показателей справедливости, так и рисков выбранных моделей.
Новое определение справедливости (которое мы называем эпсилон-общей справедливостью) говорит о том, что модель справедлива, если ее прогнозы равномерно распределены независимо от значения чувствительного атрибута. Его можно дополнительно обобщить (общая справедливость epsilon-loss), заявив, что модель является справедливой, если ее ошибки относительно функции потерь приблизительно одинаково распределены независимо от значения чувствительного атрибута. Это определение обобщает хорошо изученные понятия, используемые для классификации и регрессии, с категориальными и числовыми чувствительными признаками (например, уравненные шансы, равные возможности, демографический паритет, среднее расстояние и коэффициент корреляции).
С практической точки зрения, мы также изучали проблему минимизации ожидаемого риска в рамках заданного класса функций с учетом этого ограничения справедливости. В качестве естественной оценки, связанной с этой проблемой, мы рассмотрели модифицированную версию минимизации эмпирического риска (ERM), которую мы называем General Fair ERM (G-FERM). Если проблема ERM согласована в том смысле, что чем больше данных доступно, тем ближе выбранная модель к оракулу, который минимизирует риск, то соответствующая проблема G-FERM согласована как с точки зрения меры справедливости, так и с точки зрения риска выбранной модели. модель.
Мы протестировали это предложение на широком спектре наборов данных, доступных в литературе, и показали, что оно превосходит другие современные методы и может конкурировать с ними.
Подробнее см. [7,16].
использованная литература
- Автор этой статьи также финансирует несколько полностью финансируемых исследовательских должностей. Свяжитесь с ним по адресу [email protected] в случае заинтересованности.
- Во время конференции INNS-BDDDL-2019, которая пройдет в Сестри Леванте (Италия) с 16 по 18 апреля 2019 года, будет проведен урок Справедливость в машинном обучении от Silvia Chiappa (DeepMind) и Лука Онето (Пизанский университет)
- [1] Т. Колдерс, Ф. Камиран, М. Печеницкий. Построение классификаторов с ограничениями независимости. В статье Международная конференция по интеллектуальному анализу данных IEEE, 2009 г.
[2] М. Хардт, Э. Прайс и Н. Сребро. Равенство возможностей в обучении с учителем. В Нейронные системы обработки информации, 2016.
[3] М. Б. Зафар, И. Валера, М. Гомес Родригес и К. П. Гуммади. Справедливость за пределами разрозненного обращения и разрозненного воздействия: классификация обучения без разрозненного плохого обращения. В статье International Conference on World Wide Web, 2017.
[4] Г. Плейс, М. Рагхаван, Ф. Ву, Дж. Кляйнберг и К. К. Вайнбергер. О справедливости и калибровке. В Neural Information Processing Systems, 2017.
[5] A. Beutel, J. Chen, Z. Zhao, and E.H Chi. Решения на основе данных и теоретические последствия при состязательном изучении честных представлений. В Конференции по справедливости, подотчетности и прозрачности в машинном обучении, 2017.
[6] М. Фельдман, С. А. Фридлер, Дж. Мёллер, К. Шайдеггер и С. Венкатасубраманян. Удостоверение и устранение разрозненных воздействий. В Международной конференции по открытию знаний и интеллектуальному анализу данных, 2015.
[7] М. Донини, Л. Онето, С. Бен-Дэвид, Дж. Шоу-Тейлор и М. Понтил. . Минимизация эмпирического риска при ограничении справедливости. В Нейронные системы обработки информации, 2018.
[8] Дж. Адебайо и Л. Кагал. Итеративная проекция ортогональных признаков для диагностики систематической ошибки в моделях черного ящика. В статье Конференция по справедливости, подотчетности и прозрачности в машинном обучении, 2016 г.
[9] Ф. Калмон, Д. Вей, Б. Винзамури, К. Натесан Рамамурти и К. Р. Варшни. Оптимизированная предварительная обработка для предотвращения дискриминации. В Нейронные системы обработки информации, 2017.
[10] Ф. Камиран и Т. Колдерс. Классификация без различения. В Международной конференции по компьютерам, управлению и связи, 2009.
[11] Р. Земель, Ю. Ву, К. Сверски, Т. Питасси и К. Дворк. Узнаем ярмарочные представления. В Международной конференции по машинному обучению, 2013.
[12] Ф. Камиран и Т. Колдерс. Методы предварительной обработки данных для классификации без дискриминации. Знания и информационные системы, 33 (1): 1–33, 2012.
[13] Ф. Камирананд и Т. Колдерс. Классификация без дискриминации по преференциальной выборке. На конференции по машинному обучению в Бельгии и Нидерландах, 2010 г.
[14] С. Чиаппа, Т. П. С. Гиллам. Контрфактическая справедливость, специфичная для пути. Препринт arXiv arXiv: 1802.08139, 2018.
[15] М. Дж. Куснер, Дж. Лофтус, К. Рассел и Р. Сильва. Контрфактическая справедливость. В Нейронные системы обработки информации, 2017.
[16] Л. Онето, М. Донини и М. Понтил. Общая справедливая минимизация эмпирических рисков. Препринт arXiv arXiv: 1901.10080 (2019).
Автор статьи был награжден премией «AWS Machine Learning Research Awards» за проект «Алгоритмическая справедливость».
Алгоритмическая справедливость