Сценарист: Ричард Бакаре, Кэндис Морган, Наоми Фриман
Панель: Поиск предвзятости в ИИ: как разные голоса меняют ситуацию
Ричард Бакаре, менеджер по разработке решений для роста в Twilio Inc., член совета директоров Women Who Code и попечитель совета в Университете Оглторп, Кэндис Морган, ведущий партнер по акциям, разнообразию и инклюзивности в GV (Google Ventures), и Наоми Фриман, эксперт по предмету: технический менеджмент, Норофф и бывший старший научный сотрудник организации Женщины, которые кодируют обсуждают документальный фильм Закодированная предвзятость 2020 года. Они говорят о предвзятости в алгоритмах и важности разнообразия в вашей команде. Модерирует Джоуи Розенберг, президент по продуктам и коммуникациям в Women Who Code.
Что особенно запомнилось вам во время просмотра Coded Bias?
RB: Различные подходы к конфиденциальности, ИИ и машинному обучению. Если вы посмотрите на подход Китая по сравнению с тем, что делает Google по сравнению с Apple и некоторыми другими игроками в этой области, эти несопоставимые подходы приведут к проблемам и отсутствию справедливости и представительства. Если вы посмотрите на некоторые другие области технологий, у нас обычно есть организации, которые действительно помогают систематизировать и стандартизировать то, что мы внедряем.
NF: Дикий, дикий Запад выходит из-под контроля, и это действительно сложно. Мы видим, как такие группы, как Алгоритмическая Лига Справедливости, выходят вперед и говорят: «Я собираюсь представить здесь какое-то мнение». Мы все еще находимся в том месте, где у нас могут быть эти междометия. Он быстро затвердевает. Это. Было действительно интересно увидеть разные голоса и разных людей, которые могут поделиться своим опытом. Я рад, что у нас все еще есть пространство и возможности, которые мы видим в Coded Bias.
КМ: Меня тоже очень интересовало множество различных подходов к технологии как преднамеренных, так и непреднамеренных. Преднамеренная слежка довольно ужасна, если подумать о потенциальных применениях и неточностях. Мы обычно используем его намеренно, даже в Соединенных Штатах. Будь то получение кредита в банке или ваш кредитный рейтинг, он используется для определения вашей ценности в какой-то системе и может лишить вас возможностей. Я думал, что это было очень мощно.
Что мы имеем в виду, когда говорим об алгоритмах?
NF: Алгоритмы — это рецепт, по которому вы выполняете несколько шагов. Разница между компьютерным зрением и машинным обучением заключается в том, что компьютерное зрение может использовать некоторые методы машинного обучения. Что он делает, так это выполняет несколько шагов просмотра всей сетки. Он делает снимок, накладывает на него сетку и смотрит на все разные пиксели, а затем анализирует его, это его алгоритм. Он повторяет эти шаги снова и снова на разных изображениях. Само приложение машинного обучения будет каждый раз пытаться извлечь уроки из того, что происходило на каждом из этих шагов.
RB: Некоторые из практических приложений, которые вы видите каждый день, долгосрочное видение заключается в том, что вы смотрите на что-то вроде GP2 и можете накормить его чем-то небольшим, и это, возможно, создаст для вас новый роман. Вот когда вы приближаетесь к ИИ. Учиться на всей той информации, которую вы ему дали, нейронные сети и все такое, но теперь оно действительно может производиться. Это потенциально пугает, если вы видели некоторые вещи, которые создаются, когда вы даете ему небольшую подсказку. Есть различия, и мы должны быть очень осведомлены об этом. Однако то, что мы наблюдаем в основном сегодня, — это либо алгоритм, либо модель, развернутые в реальном мире и иногда бессистемно.
Подробнее о предвзятости в алгоритмах.
CM: Дать машине рецепт и приказать ей выполнять что-то снова и снова — это самая основная концепция. Осознание того, что машина выполняет какое-то действие и делает это по-разному в зависимости от вашего фона, — это очень интуитивный опыт. Благодаря моей работе в Pinterest мы получали обратную связь от пользователей. Была очень острая заметка, которую мы получили от одного пользователя, которому 17 лет. Она написала о том, что все изображения, которые она видела, когда выполняла поиск, изображения по умолчанию, показывали изображения, которые не были похожи на нее, и о том, как сильно это влияет на формирование ее мировоззрения. Именно тогда я очень хорошо осознал мощь алгоритма и то, насколько исключительным он может быть.
РБ: Я работал с компанией, которая готовилась к запуску фитнес-часов. Одной из функций, которую они запускали, был оптический датчик сердечного ритма. Я и партнер по тестированию, с которым я работал, заметили, что данные не совпадают с результатами моих часов. Мы осознали дельту в оттенках нашей кожи. Он отнес его инженерам. Если заглянуть в комнату инженеров, становится совершенно ясно, почему это не было учтено. в этой комнате не было разнообразия.
Что вы посоветуете недавним выпускникам в области науки о данных, которые хотят быть преднамеренными? Как вы поддерживаете этику во главе угла?
RB: Примите образ мышления претендента. Не обязательно играть в адвоката дьявола или быть воинственным, но нужно задавать вопросы. Каковы наши результаты? Зачем мы это делаем? Какова прозрачность модели? Каковы механизмы обратной связи? Вы можете сломать его?
Как вы живете с мышлением претендента?
NF: Когда у вас такое мышление, вы буквально готовы сдвинуть здания для разнообразия.
Почему важно, чтобы в вашей команде были разные голоса? Как туда добраться?
CM: Как вы учитываете эти различные точки зрения и встраиваете их в структуру? Один из способов подумать об этом — может ли каждый построить жизнь, которую он любит? Именно это побудило нас создать совершенно другую структуру.
Что происходит, когда владелец бизнеса или ваше высшее руководство не верят в существование предвзятости? И что ты тогда делаешь? Как вы сохраняете настрой претендента и ведете тяжелые разговоры, когда справляетесь?
РБ: Разочаровывает, когда люди на самом деле в это не верят. Они не признают исторический приоритет и все данные стереотипов, которые уже включены в модель. Человеческий опыт и человеческий замысел — это все. Если мы не можем говорить об этом, то мы пропустим все в нашей технологии.
CM: То, как вы представите проблему, очень важно. Сформулируйте это с точки зрения того, чтобы они понимали, где вы теряете пользователя, для которого вы разработали, потому что это то, что обезличивает его.
Женщины в сфере технологий часто приравниваются к нонконформизму. Прогнозный анализ будет сопровождаться демографией. Предположения сделаны на основе этих демографических данных. Как насчет людей, которые не вписываются в «коробку» своей демографии? Как вы это решаете?
КМ: Люди не хотят, чтобы их классифицировали, и они не хотят прилагать дополнительные усилия, чтобы использовать продукт, потому что им приходится модифицировать его как нонконформистский. Мы не хотим, чтобы машина предполагала. Я думаю, что чем меньше прогностических данных, основанных на чьих-то демографических данных, которые жестко запрограммированы, тем лучше.
NF: Нам нужно понять, в чем на самом деле заключается проблема и что мы пытаемся решить. Когда мы думаем об алгоритмической предвзятости, у нас может быть негативное наследие, что означает фактическую предвзятость в данных.
РБ: В начале своей карьеры я работал в компании, где мы разрабатывали технологии прогнозирования для сайтов розничной торговли и электронной коммерции. Одна из вещей, которую сказал директор по искусственному интеллекту и машинному обучению в этой компании, заключается в том, что все, что мы делаем по рекомендации, должно иметь одинаковый результат в идеале для известного, неизвестного и запутанного пользователя. Одним из способов, которым мы измеряли результаты, было: «Если я знаю о вас все, что я могу предложить? Если я ничего о вас не знаю, что я могу предложить? И если я намеренно маскирую ваши характеристики, что я предлагаю?»
Какие ресурсы доступны людям, если они хотят действовать или узнать больше, и что они могут сделать? Есть ли у вас какие-либо советы по любой из этих тем?
RB: Слушайте, что происходит каждый день. Мне нравится подкаст Сэма Чаррингтона This Week in ML. Он высказывает самые разные мнения и задает вопросы ведущим отраслевым экспертам в различных компаниях о том, что они делают с предвзятостью в своих моделях на рабочем месте. Это действительно отличный подкаст, чтобы понять температуру и пульс индустрии. Лига Справедливости, присоединяйтесь к ней, участвуйте и делитесь информацией. Если вы нанимаете сотрудников, разнообразие имеет значение.
CM: Энни Жан-Батист, руководитель отдела внедрения продуктов в Google, а теперь и наш коллега по более широкому кругу, написала книгу под названием "Создание для всех". Она говорит о более широком зонтике включения продукта. Это шире, чем фокусирование на ИИ, но оно определенно включает в себя некоторые передовые методы. Я рекомендую это.
Что вы думаете о будущем инклюзивности, равноправия и алгоритмов или что еще вы хотите, чтобы люди знали?
КМ: Понимание опасностей, как настоящих, так и будущих, а также неравного распределения власти между людьми, которые управляют технологиями, способными оказать неблагоприятное воздействие на большую часть нашего населения, дает мне массу надеяться.
NF: Технологии — это всего лишь инструмент. Нам нужно решить, для чего мы его используем. Пригласите одного или нескольких человек, не являющихся технологами, на кофе или обед. Нам нужно взять с собой всех, чтобы действительно добиться прогресса. Всегда приглашайте других людей в эти беседы и приглашайте их исследовать и исследовать, что представляют собой эти инструменты и что они делают.
