Это пост о том, как я пришел к идее ответственного ИИ и этики ИИ и, в конечном итоге, к тому, чтобы придерживаться той точки зрения на использование ИИ и МО, которую я придерживаюсь сегодня.
Это было где-то в 1991 году. Все начиналось хорошо. Я направил свои навыки решения проблем на вещи, которые (до сих пор) продвигали общественное благо. Я работал с NOAA над созданием алгоритмов и систем для прогнозирования вероятности цунами на основе океанографических данных в реальном времени. Я также создал алгоритмы для управления географически распределенными системами, которые автоматизируют справедливое распределение и управление дефицитными водными ресурсами, системы, которые прогнозируют и автоматизируют работу гидроэлектростанций, чтобы гарантировать, что нерестилища рыбы ниже по течению не дестабилизируются в критические моменты, обработку спутниковых изображений для НАСА и другие. проекты, подобные этим, которые принесли то, что я считал чистой положительной выгодой для мира. Я быстро набирался опыта в преобразовании крупномасштабных, распределенных и часто непрерывных потоков данных в режиме реального времени для анализа данных и подходов контролируемого машинного обучения, и это было одновременно весело и увлекательно.
Но потом… «Когда я был моложе, намного моложе, чем сегодня», задача решения проблем и создания технологий стала началом, средством и концом, и я взялся за некоторые проекты, которые сегодня, когда я оглядываюсь назад, « Я не так уверен в себе (и теперь я нахожу) Теперь я нахожу, что передумал».*
В середине 1990-х годов в ряде городов рассматривались или даже развертывались сети видеокамер в городских центрах и вокруг них. Нам задали вопрос: можно ли почти в режиме реального времени сравнивать изображения лиц с этих камер с базой данных фотоснимков и фотографий известных преступников и людей с неоплаченными ордерами. Можем ли мы автоматизировать идентификацию людей по неподвижным изображениям из видеопотока? В то время казалось общественным благом помогать правоохранительным органам находить и убирать преступников с улицы, и, честно говоря, это была действительно крутая проблема CS, над которой можно было поработать. К сожалению, никто из нас в команде никогда не задумывался об использовании этой технологии для более широких целей, таких как наблюдение за населением (несмотря на то, что мы прочитали почти все когда-либо опубликованные научно-фантастические антиутопии будущего). Поэтому мы разработали технологию и внедрили ее. Хотя система, безусловно, не такая сложная, как сверточные нейронные сети, используемые сегодня для распознавания лиц, система использовала вероятностный подход для сопоставления входящих изображений с изображениями в базе данных лиц и обучалась на основе обратной связи человека-оператора, которая помечала точность совпадений. Мы создали ряд новых и интересных подходов, чтобы осуществить это. Мы достигли пропускной способности и уровня точности, которые позволили идентифицировать, уведомлять и отвечать в течение нескольких секунд.
Когда я думаю о распознавании лиц и искусственном машинном обучении, которые используются сегодня, со всеми возможными отклонениями, присущими всему жизненному циклу, этот проект задним числом кажется наивным и непродуманным. Разработанная нами технология примитивна и груба по сегодняшним меркам, но от этого не менее мощна с точки зрения непредвиденных последствий. Сегодня у нас есть множество доказательств того, что распознавание лиц скомпрометировано серьезными формами предвзятости и ненадежно; мы также понимаем, что возможность неправомерного использования этой технологии более чем вероятна, она несомненна, потому что это уже произошло. Тогда мне странно, что сегодня есть компании, полицейские управления и даже владельцы недвижимости, которые по-прежнему предпочитают использовать такие системы. Я почти ежедневно читаю в новостях о случаях неправильной идентификации, недостаточно представленных групп населения, которые подвергаются чрезмерному нацеливанию, и о предвзятости, возникающей в этих системах.
Поскольку я все еще не усвоил основной урок после первого проекта по лицу, я взялся за другой проект в начале 2000-х, который должен был поймать плохих актеров, на этот раз, когда они пересекали пункты въезда в США. Моя компания в время разработало некоторые уникальные технологии, которые мы продавали. Это было так: введите ваши данные, и мы найдем все связи, сгенерируем из них график с указанием сильных сторон отношений и предоставим вашим пользователям возможность изучить результаты в многофункциональном и высокоинтерактивном веб-приложении. В систему передавались как данные о въезде (например, номерной знак), так и ряд баз данных, содержащих различную информацию о непогашенных ордерах и т. д. Наша система представляла собой, по сути, жадный до данных сетевой алгоритм логического вывода, который мог строить и обновлять график в режиме реального времени. Первый проход вернул сеть со средней степенью связи от любого заданного узла в 3 степени. Если какое-либо из этих связанных объектов имело флаг, кто-то получал уведомление и инициировалось дальнейшее расследование.
Почему-то в то время мы думали, что это хорошая идея, и заказчик хорошо платил за адаптацию нашей технологии для этой цели. Но опять же, оглядываясь назад, можно сказать, что сила, которую эта система передала небольшой группе людей без управления или подотчетности, в сочетании с возможностью неправильного использования, отсутствием реального понимания источников данных и любой присущей им предвзятостью, присутствующей в основе данных. это пугает меня сегодня. Небольшая хорошая новость заключается в том, что (насколько мне известно) эта система так и не была полностью развернута — по крайней мере, заказчик никогда не приобретал производственные лицензии, которые потребовались бы для этого. Это был пилотный проект, который, я надеюсь, умер и остался мертвым. Тем не менее, текущий политический ландшафт вокруг безопасности границ США наряду с современными технологиями автоматизации машинного обучения кажется мне несколько созревшим для возрождения мышления, которое финансирует такие системы, поэтому я не удивлюсь, узнав, что нечто подобное было разработано. в прошедшие годы.
Где-то между тем и сейчас я начал понимать и ценить темную сторону таких технологий. Я думаю об этом как об эволюции курения табака. Наши бабушки и дедушки не знали, насколько это вредно для них, на самом деле они, возможно, даже думали, что это полезно для здоровья; сегодня мы, конечно, лучше знаем, что курение значительно сокращает жизнь. Решение начать курить в 2019 году идет вразрез со всем рациональным. На мой взгляд, то же самое можно сказать и о вооружении любого (частного или общественного) технологиями, которые автоматизируют вторжение в частную жизнь и склоняются к предвзятости в отношении малопредставленных групп населения. Просто скажи нет, это не круто.
Я рад сообщить, что в последние годы я навсегда вернулся к использованию машинного обучения. Такие вещи, как образовательные технологии, улучшение здоровья, понимание процессов болезни и обеспечение точной медицины. Менее социально значимый, но хороший с экономической точки зрения, я также уделил немало времени тому, чтобы помочь компаниям-клиентам внедрить возможности так называемой «цифровой трансформации» с использованием автоматизации и, таким образом, успешно обслуживать своих клиентов лучше.
Благодаря ИИ и машинному обучению у нас теперь есть реальные доказательства предвзятости и вреда, которые определенные типы систем ИИ могут нанести и наносят в основном малопредставленным группам населения. Мы также знаем, что эти алгоритмы могут усилить экстремизм и проникнуть в само наше чувство конфиденциальности. Нам нужно решить не курить, а вместо этого найти способы создания и продвижения ответственного использования ИИ, который принесет пользу всем. Нам нужно, чтобы автоматизация, используемая правительством, была прозрачной. Нам нужно, чтобы правительство отвечало за использование моделей и доверие к ним, и нам нужно, чтобы компании, которые создают и продают эти системы, несли ответственность за предвзятость и вред, возникающие в результате использования этих моделей. Прозрачность является ключевым моментом, и все же это единственная наиболее вероятная вещь, которую мы вряд ли получим в нынешних условиях.
*слова цитаты из Help!, The Beatles
