Минимизация общего справедливого эмпирического риска

ПРИМЕЧАНИЕ РЕДАКТОРА
Лука Онето в настоящее время является адъюнкт-профессором Пизанского университета, и его карьера сосредоточена на проблемах обучения на основе данных, как с теоретической, так и с практической точки зрения. Недавно он заинтересовался проблемой справедливого обучения, без дискриминации и предубеждений. Он выиграл премию AWS Machine Learning Research Award по теме «Алгоритмическая справедливость» и стал соавтором нескольких статей, предлагающих новое понятие справедливости. В этом посте мы попросили его описать практическое значение этой проблемы и его недавних работ для нашей общественности.

Искусственный интеллект (ИИ) быстро превращается в товар. Такая характеристика представляет интерес для крупных ИТ-компаний, но она правильно отражает нынешнюю индустриализацию ИИ. Это явление означает, что системы и продукты ИИ достигают общества в целом и, следовательно, нельзя больше игнорировать социальные проблемы, связанные с использованием ИИ и машинного обучения (МО). Разработка моделей машинного обучения с этой ориентированной на человека точки зрения означает включение соответствующих человеку требований, таких как безопасность, справедливость, конфиденциальность и интерпретируемость, а также учет широких социальных проблем, таких как этика и законодательство. Это важные аспекты для содействия принятию технологий на основе машинного обучения, а также для обеспечения соблюдения развивающегося законодательства, касающегося воздействия цифровых технологий на вопросы этики и конфиденциальности.

В последние годы возник большой интерес к теме алгоритмической справедливости в машинном обучении. Центральный вопрос заключается в том, как улучшить алгоритмы контролируемого обучения с помощью требований справедливости, а именно обеспечения того, чтобы конфиденциальная информация (например, знания об этнической группе человека) не влияла несправедливо на результат алгоритма обучения. Например, если проблема обучения состоит в том, чтобы решить, следует ли предлагать человеку ссуду на основе его предыдущих баллов по кредитной карте, мы хотели бы построить модель, которая не использовала бы несправедливо дополнительную социально значимую информацию, такую ​​как раса или пол.

Одним из известных примеров таких проблем является КОМПАС: это популярный коммерческий алгоритм, используемый судьями и офицерами по условно-досрочному освобождению для оценки вероятности совершения уголовным обвиняемым повторного правонарушения (рецидивизма). Было показано, что алгоритм смещен в пользу белых подсудимых на основании 2-летнего последующего исследования.

Другой пример - исследование Джой Буоламвини и Тимнит Гебру, которое показывает, как три коммерчески выпущенные программы анализа лица от крупных технологических компаний демонстрируют предубеждения как по типу кожи, так и по полу. Результат был также подтвержден в более позднем исследовании Иниолува Дебора Раджи и Джой Буоламвини.

За последние несколько лет в ML были введены несколько понятий справедливости и связанных методов обучения, включая демографический паритет [1], равные шансы и равные возможности [2], неодинаковое обращение, влияние и плохое обращение [3]. Основная идея, лежащая в основе таких понятий, состоит в том, чтобы сбалансировать решения классификатора между различными уязвимыми группами и наборами ярлыков.

Работы по алгоритмической справедливости можно разделить на четыре семейства. Методы в первом семействе модифицируют предварительно обученный классификатор, чтобы улучшить его свойства справедливости, сохраняя при этом в максимально возможной степени эффективность классификации: [2, 4-6] являются примерами этих методов. Методы во втором семействе обеспечивают справедливость непосредственно на этапе обучения, например [7] и ссылки в нем. Третье семейство методов реализует справедливость путем изменения представления данных, а затем использует стандартные методы машинного обучения: [8-13] являются примерами реализации этих методов. Наконец, последнее семейство методов сталкивается с проблемой справедливости через причинность [14, 15]: в этих работах авторы исходят из идеи контрфактической справедливости, которая утверждает, что решение является справедливым по отношению к человеку, если оно совпадает с тем, которое были бы взяты в противоречащем фактам мире, в котором чувствительные атрибуты были другими, и в контексте причинного вывода они предлагают способ компенсации предубеждений на несправедливых путях.

Об авторе

В наших недавних работах [7,16] было показано, что можно определить новое обобщенное понятие справедливости, которое включает хорошо изученные понятия, используемые для классификации и регрессии с категориальными и числовыми чувствительными признаками. Это понятие может быть заключено в принцип минимизации эмпирического риска (ERM), и мы можем использовать его для получения статистических границ, которые подразумевают свойства согласованности как с точки зрения показателей справедливости, так и рисков выбранных моделей.

Новое определение справедливости (которое мы называем эпсилон-общей справедливостью) говорит о том, что модель справедлива, если ее прогнозы равномерно распределены независимо от значения чувствительного атрибута. Его можно дополнительно обобщить (общая справедливость epsilon-loss), заявив, что модель является справедливой, если ее ошибки относительно функции потерь приблизительно одинаково распределены независимо от значения чувствительного атрибута. Это определение обобщает хорошо изученные понятия, используемые для классификации и регрессии, с категориальными и числовыми чувствительными признаками (например, уравненные шансы, равные возможности, демографический паритет, среднее расстояние и коэффициент корреляции).

С практической точки зрения, мы также изучали проблему минимизации ожидаемого риска в рамках заданного класса функций с учетом этого ограничения справедливости. В качестве естественной оценки, связанной с этой проблемой, мы рассмотрели модифицированную версию минимизации эмпирического риска (ERM), которую мы называем General Fair ERM (G-FERM). Если проблема ERM согласована в том смысле, что чем больше данных доступно, тем ближе выбранная модель к оракулу, который минимизирует риск, то соответствующая проблема G-FERM согласована как с точки зрения меры справедливости, так и с точки зрения риска выбранной модели. модель.

Мы протестировали это предложение на широком спектре наборов данных, доступных в литературе, и показали, что оно превосходит другие современные методы и может конкурировать с ними.

Подробнее см. [7,16].

использованная литература

Автор статьи был награжден премией «AWS Machine Learning Research Awards» за проект «Алгоритмическая справедливость».

Алгоритмическая справедливость