Ниже приведены комментарии основателя и президента Data & Society Даны Бойда к ее ключевому докладу на конференции Strata Data Conference в Нью-Йорке в 2017 году. Полное видео с основным докладом доступно внизу страницы. - Ред.

В 1998 году двое аспирантов Стэнфордского университета решили попытаться исправить проблемы с основными поисковыми системами. Сергей Брин и Ларри Пейдж написали статью, описывающую, как их алгоритм PageRank может устранить множество нежелательных результатов. Их идея, которую мы все теперь знаем как основу Google, имела решающее значение. Но это не остановило людей от попыток взломать их систему. Фактически, появление Google только увеличило изощренность тех, кто инвестировал в поисковую оптимизацию.

Перенесемся в 2003 год, когда действующий сенатор от Пенсильвании Рик Санторум публично сравнил гомосексуальность с зоофилией и педофилией. Излишне говорить, что ЛГБТ-сообщество было возмущено. Журналист Дэн Сэвидж призвал своих читателей найти способ увековечить скандал. Один из его поклонников создал веб-сайт, на котором имя Санторума ассоциируется с анальным сексом. К ужасу сенатора, бесчисленные представители общественности прыгнули на этот веб-сайт, чтобы повлиять на поисковые системы. Эту форму краудсорсингового SEO обычно называют бомбардировкой Google, и это форма манипуляций со СМИ, направленная на искажение данных и информационного ландшафта.

Манипуляции со СМИ не новость. Как известно многим противоборствующим сторонам, границы между пропагандой и маркетингом в социальных сетях часто нечеткие. Более того, любая компания, которая использует публичные сигналы для информирования об аспектах своего продукта - от лайков до комментариев и обзоров - прекрасно знает, что любая созданная вами система будет использоваться для развлечения, получения прибыли, политики, идеологии и власти. Даже Конгресс сейчас борется с этой реальностью. Но я здесь не для того, чтобы рассказывать вам, что всегда происходило, или даже что происходит в настоящее время - я здесь, чтобы помочь вам понять, что вот-вот должно произойти.

В настоящий момент ИИ находится в центре любого делового разговора. Компании, правительства и исследователи одержимы данными. Неудивительно, что и враждебные актеры тоже. В настоящее время мы наблюдаем эволюцию того, как манипулируют данными. Если мы считаем, что данные можно и нужно использовать для информирования людей и развития технологий, нам нужно начать создание инфраструктуры, необходимой для ограничения коррупции и злоупотребления этими данными, и бороться с тем, как предвзятые и проблемные данные могут проникнуть в технологии и через это в основы нашего общества.

Короче говоря, я думаю, что нам нужно пересмотреть, как выглядит безопасность в мире, управляемом данными.

Часть 1. Игра в систему

Как и поисковые системы, социальные сети представили совершенно новую цель для манипуляций. Это привлекало самых разных людей, от маркетологов в социальных сетях до государственных деятелей. Общение с популярными темами Twitter или новостной лентой Facebook стало для многих хобби. За 5 долларов каждый мог легко купить подписчиков, лайков и комментариев почти на каждом крупном сайте. Экономические и политические стимулы очевидны, но наряду с этими влиятельными игроками есть также целый ряд людей с менее чем очевидными намерениями, координирующими атаки на эти системы.

Например, когда распределенная сеть людей решила помочь вывести Рика Эстли на вершину чартов через 20 лет после выхода его песни Never Gonna Give You Up, они не пытались помочь ему получить прибыль. (хотя они и сделали). Как и другие мемы, созданные через сети на таких сайтах, как 4chan, рикроллинг был для тех, кто любит кайф. Но благодаря этой практике многие люди узнали, как сделать контент вирусным или иным образом вмешиваться в системы. Другими словами, они научились взламывать экономию внимания. При этом они разработали стратегические методы манипуляции, которые могут иметь и имеют серьезные последствия.

История вроде «#Pizzagate» не случается случайно - она ​​создана широкой сетью людей, которые хотят поиграть с информационной экосистемой. Они создали кроссплатформенную сеть поддельных учетных записей, известных как «марионетки в носках», которые они используют, чтобы незаметно влиять на журналистов и других влиятельных лиц, чтобы они обращали внимание на стратегически подготовленные вопросы, сообщения в блогах и видео на YouTube. Цель такой истории не в том, чтобы убедить журналистов в том, что это правда, а в том, чтобы заставить их по глупости использовать свои каналы усиления, чтобы отрицать это. Это создает «эффект бумеранга», когда те, кто не доверяет средствам массовой информации, полагают, что заговор имеет определенную ценность, что побуждает некоторых «исследовать себя».

Кроме того, существует целый ряд материалов, предназначенных для «открытия окна Овертона» или расширения круга тем, которые можно обсуждать публично. Журналистов обманом заставляют распространять проблемные кадры. Более того, можно использовать механизмы рекомендаций, чтобы побудить тех, кто открыт для проблемных фреймов, пойти глубже. Исследователь Джоан Донован изучает превосходство белых; после работы она не может открыть Amazon, Netflix или YouTube, если ей не рекомендуют смотреть неонацистскую музыку, видео и фирменные предметы. Радикальные тролли также знают, как использовать эту инфраструктуру, чтобы создавать проблемы. Не сработав ни в одном из защитных механизмов Твиттера, хорошо известному троллю-долгоносику удалось использовать рекламную инфраструктуру компании для распространения идей белого превосходства среди тех, кто сосредоточен на социальной справедливости, вызвав возмущение и гнев.

По большому счету, эти игры представляли собой скорее ручные атаки на алгоритмические системы, но, как мы все знаем, ситуация меняется. И это снова скоро изменится.

Часть 2: Учебные наборы для уязвимых групп

Для обучения системы машинного обучения требуются данные. Очень много. Хотя существует несколько стандартных корпусов, исследователи информатики, стартапы и крупные компании все больше жаждут новых - и других - данных.

Первая проблема заключается в том, что все данные являются предвзятыми, в первую очередь и узнаваемыми, поскольку они отражают предубеждения людей и общества в целом. Возьмем, к примеру, популярный набор данных ImageNet. Поскольку люди классифицируют по форме быстрее, чем по цвету, вы в конечном итоге получаете некоторые странные артефакты в этих данных.

Ситуация становится еще хуже, когда вы имеете дело с социальными предрассудками. Когда Латаня Суини искала свое имя в Google, она была удивлена, увидев объявления с приглашением узнать, есть ли у нее судимость. Как любопытный ученый-компьютерщик, она решила пропустить через систему ряд распространенных черно-белых имен, чтобы увидеть, какие рекламные объявления появляются. Неудивительно, что только черные имена производили рекламу продуктов уголовного правосудия. Это произошло не потому, что Google сознательно относился к этим именам по-другому, а потому, что пользователи, выполнявшие поиск, чаще нажимали на объявления уголовного правосудия при поиске черных имен. Google узнал об американском расизме и снова распространил его на всех своих пользователей.

Устранение явных и неявных культурных предубеждений в данных станет огромной проблемой для всех, кто пытается построить систему, основанную на данных, классифицированных людьми или о людях.

Но возникает и новый вызов. Те же децентрализованные сети людей - и государственных субъектов - которые возились с социальными сетями и поисковыми системами, все чаще обращаются к данным, которые различные компании используют для обучения и улучшения своих систем.

Рассмотрим, например, роль данных Reddit и Twitter в качестве обучающих данных. Ученые-информатики давно используют очень щедрые API-интерфейсы этих компаний для обучения всевозможных моделей, пытаясь понять естественный язык, разрабатывать метаданные вокруг ссылок и отслеживать социальные модели. Они обучили моделей обнаруживать депрессию, оценивать новости и вступать в беседу. Игнорируя тот факт, что эти данные изначально не репрезентативны, большинство инженеров, использующих эти API, считают, что можно очистить данные и удалить весь проблемный контент. Могу обещать, что это не так.

Никакое исключение определенных субреддитов, удаление категорий твитов или игнорирование контента с проблемными словами не подготовит вас к тем, кто адски настроен на то, чтобы с вами возиться.

Я наблюдаю, как бесчисленные актеры экспериментируют со способами использования общедоступных данных, приковывая внимание к системам крупных компаний. Они пытаются пролететь ниже радаров. Если у вас нет структуры для стратегической борьбы с тем, как те, у кого есть повестка дня, могут попытаться обойти ваши наилучшие планы, вы уязвимы. Речь не идет о случайном или естественном содержании. Дело даже не в данных, предвзятых в культурном отношении. Речь идет о стратегически геймифицированном контенте, который вводят в системы люди, которые пытаются угадать, что вы будете делать.

Если вы хотите понять, что это значит, рассмотрите эксперимент, который Николя Паперно и его коллеги опубликовали в прошлом году. Чтобы понять уязвимости алгоритмов компьютерного зрения, они решили изменить изображения знаков остановки так, чтобы они по-прежнему напоминали знак остановки для человека-зрителя, даже если лежащая в основе нейронная сеть интерпретировала их как знак уступки. Подумайте, что это значит для беспилотных автомобилей. Будет ли эта технология широко распространена, если с классификатором можно так легко манипулировать?

Прямо сейчас самые успешные атаки на модели машинного обучения с внедрением данных происходят в мире исследований, но мы все чаще видим, как люди пытаются вмешаться в основные системы. То, что они еще не были особенно успешными, не означает, что они не учатся и не развивают свои попытки.

Часть 3: Создание технических антител

Многие компании десятилетиями не относились серьезно к уязвимостям системы безопасности, пока в новостях не вспыхнули взломы за взломом. Нужно ли нам пройти через ту же боль, прежде чем мы начнем создавать инструменты для устранения этой новой уязвимости?

Если вы создаете системы, управляемые данными, вам нужно подумать о том, как эти данные могут быть повреждены, кем и с какой целью.

В технологической индустрии мы утратили культуру тестирования. Часть вины ложится на плечи социальных сетей. Пятнадцать лет назад у нас возникла блестящая идея перейти к культуре «вечного бета-тестирования». Мы пригласили общественность стать нашими инженерами по обеспечению качества. Но внутренний контроль качества не сводился просто к поиску ошибок. Речь шла об интеграции враждебного мышления в процесс проектирования и разработки. И просить общественность найти ошибки в наших системах не работает, когда некоторые из тех же людей пытаются вмешаться в наши системы. Кроме того, в настоящее время нет стимула или пути для того, чтобы кто-либо в частном порядке сообщал нам, где что-то идет не так. Мы обращаем внимание только тогда, когда журналисты стыдят нас, находя способы обманом заставить наши системы рекламировать неонацистов. Тем не менее, гораздо более злонамеренные субъекты начинают играть в долгую игру, вмешиваясь в наши данные. Почему мы не пытаемся опередить это?

С другой стороны, появляется новый мир исследователей, внедряющих враждебное мышление в передовые разработки систем машинного обучения.

Рассмотрим, например, исследование генеративных враждебных сетей (или GAN). Для тех, кто не знаком с этим направлением работы, идея состоит в том, что у вас есть два неконтролируемых алгоритма машинного обучения - один пытается генерировать контент для оценки другого. Первый пытается обманом заставить второго принять неправильную информацию. Вся эта работа заключается в попытке найти границы вашей модели и скрытое пространство ваших данных. Нам нужно увидеть гораздо больше таких исследований и разработок - это исследовательская часть культуры тестирования, в которой истинное враждебное мышление вплетено непосредственно в процесс построения моделей.

Но этих исследовательских усилий недостаточно. Нам необходимо активно и намеренно внедрять культуру состязательного тестирования, аудита и обучения в нашу практику разработки. Нам необходимо разработать аналитические подходы для оценки систематических ошибок любого набора данных, который мы используем. И нам нужно создать инструменты для отслеживания развития наших систем с такими же усилиями, как мы изначально строим наши модели. Мой коллега Мэтт Гёрцен утверждает, что нам также необходимо стратегически приглашать белых троллей, чтобы они возились с нашими системами и помогли нам понять наши уязвимости.

Техническая индустрия больше не является страстным увлечением кучки компьютерных фанатов, пытающихся творить в мире крутые штуки. Теперь это основа нашей демократии, экономики и информационного ландшафта.

У нас больше нет возможности думать только о мире, который мы хотим построить. Мы также должны стратегически подумать о том, как другие хотят манипулировать нашими системами, чтобы причинить вред и вызвать хаос.