С интеграцией ИИ в нашу повседневную жизнь предвзятая модель может иметь серьезные последствия для пользователей.

В 2021 году Центр политики в области информационных технологий Принстонского университета опубликовал отчет, в котором они обнаружили, что алгоритмы машинного обучения могут выявлять предубеждения, подобные тем, которые делают люди, из их тренировочных данных. Одним из ярких примеров этого эффекта является исследование инструмента найма ИИ от Amazon [1]. Инструмент был обучен на резюме, отправленных на Amazon в течение предыдущего года, и ранжировал различных кандидатов. Из-за огромного гендерного дисбаланса в технических должностях за последнее десятилетие алгоритм выучил язык, который будет ассоциироваться с женщинами, например женскими спортивными командами, и понизит рейтинг таких резюме. Этот пример подчеркивает необходимость не только честных и точных моделей, но и наборов данных, чтобы исключить предвзятость во время обучения. В текущем контексте быстрого развития генеративных моделей, таких как ChatGPT, и интеграции ИИ в нашу повседневную жизнь предвзятая модель может иметь серьезные последствия и подорвать доверие пользователей и глобальное признание. Таким образом, устранение этих предубеждений необходимо с точки зрения бизнеса, и специалисты по данным (в широком смысле) должны знать о них, чтобы смягчить их и убедиться, что они соответствуют их принципам.

Примеры предубеждений в генеративных моделях

Первый тип задач, где широко используются генеративные модели, который приходит на ум, — это задача перевода. Пользователи вводят текст на языке А и ожидают перевода на языке Б. В разных языках не обязательно используются местоимения одного и того же типа, например, The senator в английском языке может быть как женского, так и мужского рода. , так как по-французски это будет La senatrice или Le senateur. Даже в случае указания пола в предложении (пример ниже) генеративная модель нередко усиливает гендерные стереотипные роли во время перевода.

Подобно задачам перевода, задачи создания титров требуют, чтобы модель…