Поскольку Word Embedded был обучен для обработки естественного языка, было замечено, что алгоритм предвзято относится к полу. На это указал Толга Болукбаси в своей статье Мужчина для программиста, как женщина для домохозяйки. Очевидная причина, которая объясняет гендерные предубеждения в алгоритмах, связана с тем, что корпус данных, который используется для обучения этой матрицы встраивания слов (сопоставление слова в вектор), является предвзятым. Литература и рассказы не очень справедливы с гендерными ролями. Решением может быть переобучение моделей с текстовыми данными, что не предвзято, но это невыполнимо, все доступные текстовые данные, огромные кучи рассказов, романов и литературы тогда будут бесполезны, и не так уж удивительно, что большая часть рассказов и литературы полно таких предрассудков. Толга Болукбаси предложил очень простой математический подход к исправлению гендерных предубеждений в матрице встраивания слов в той же статье. (Мы могли бы только пожелать, чтобы существовал такой невинно выглядящий математический подход к изменению предубеждений в человеческом поведении).

Здесь я пытаюсь показать визуализацию алгоритма, устраняющего проблему

Визуализация нейтрализации

Хитрость нейтрализации в соответствии с документом заключается в том, чтобы просто вычислить компонент смещения, который является проекцией предвзятого слова (word) на ось смещения (biax), и вычесть его из искаженного слова. . Ниже приведены уравнения, чтобы сделать это.

Вот как это работает. Слово «технология» больше относится к мужчинам, чем к женщинам, оранжевая линия на рисунке ниже — это проекция слова «технология» на гендерную ось после вычитания компонента смещения из технология, получившаяся слово технология непредвзятая по половому признаку.

Визуализация выравнивания (для пары слов)

Выравнивание объясняется в статье, однако из-за множества уравнений оно немного менее интуитивно понятно, что именно оно делает. Вот уравнения, за которыми следуют рисунки, построенные для двумерных векторов, чтобы облегчить понимание. В следующих уравнениях ew1 и ew2 — это слова, которые нам нужно исправить в ось смещения. Исправленные слова: e1, а e2 – последние два уравнения.

С учетом вложенных векторов слов ew1 = [ 5, 1.2 ], ew2 = [-2.5, 0.5] и оси смещения bax=[7 , 0], следуя приведенным выше уравнениям, все промежуточные члены вычисляются и отображаются на рисунке ниже. В результате получаются слова e1 и e2, которые можно рассматривать как достаточно симметричные по ортогональной оси смещения. .

Ради интереса попробуем другие примеры: ew1 = [2, 1.2 ], ew2 = [ -2.5, 0.5 ] и ось смещения bax = [ 3, 0,5 ]

и ew1 = [ 5, 1.2 ], ew2 = [ -2.5, 0.5 ] и biax = [4, -3]

Мне все еще интересно, влияет ли нейтрализация слов на производительность алгоритма для задачи, которую он должен был выполнить.

Ссылка:

Болукбаси, Толга и др. “Мужчина для программиста то же, что женщина для домохозяйки? устранение искажений при встраивании слов». Достижения в области нейронных систем обработки информации. 2016. [ссылка]

Опубликовано 18 марта 2018 г. 18 марта 2018 г.

Первоначально опубликовано на nullspaces.wordpress.com 18 марта 2018 г.