В прошлый четверг OpenAI выпустил очень большую языковую модель под названием GPT-2. Эта модель может генерировать реалистичный текст в различных стилях, от новостных статей до фанфиков, на основе некоторого исходного текста. Как ни странно, они решили не публиковать данные или параметры своей самой большой модели, сославшись на опасения по поводу возможных злоупотреблений. Это было довольно большое дело.

Я решил завести блог только для того, чтобы написать об этом, так как я не видел поста, в котором говорилось бы все, что я хочу сказать. Я думаю, что для сообщества машинного обучения есть действительно важный вывод о том, как бороться с потенциальными злоупотреблениями исследованиями в области машинного обучения. Я также говорю о технических достоинствах исследования, социальных последствиях создания языков человеческого уровня и об обвинениях в том, что OpenAI мотивируется созданием ажиотажа.

(Отказ от ответственности: я стажировался в OpenAI с февраля по август 2017 г. и знаю некоторых людей, участвовавших в этом исследовании. Мнения, изложенные здесь, являются моими собственными.)

Насколько хорошо исследование?

Раньше я работал над диалоговыми системами на основе нейронных сетей, которые обучены предсказывать следующий ответ, учитывая предыдущие ответы в диалоге. Я помню, как в конце 2016 года просматривал сгенерированные с помощью нашей модели образцы, пытаясь найти одно предложение, которое звучало бы правдоподобно с учетом контекста разговора.

Поэтому я был очень шокирован, когда прочитал Историю об англоязычных единорогах из GPT-2 (если вы ее не читали, настоятельно рекомендую). История не идеальна, в ней есть некоторые колебания в середине, но в целом она на удивление логична. На самом деле это похоже на новостную статью, которую мог бы написать человек. Для меня это невероятный результат вне зависимости от того, сколько вишенки собирают. Я был бы умеренно впечатлен языковой моделью, которая правильно вспоминала имя Хорхе Переса по всему документу без явного механизма памяти. Это совсем другое. Возможно, я немного устарел от литературы недавнего поколения языков, но я не знаю ни одной модели, которая приближалась бы к такому уровню согласованности, грамматичности, использования долгосрочного контекста и знания мира.

Чтобы было ясно: здесь нет алгоритмического вклада. Они «просто увеличивают масштабы» предыдущих исследований. Но я думаю, что осознание того, насколько сильны эти расширенные модели, само по себе является важным вкладом. Оглядываясь назад, легко сказать: «Конечно, больше данных и вычислений дают более качественные модели», но если бы я показал историю единорога коллеге в прошлую среду и сказал им, что она была создана искусственным интеллектом, я не думаю, что они поверил мне.

Некоторые задались вопросом, может ли модель просто запоминать шаблоны текста и повторять их в нужное время. Эта проблема обсуждается в документе (Приложение 8.2), где авторы показывают, что перекрытие слов между выборками GPT-2 и их обучающим набором меньше, чем перекрытие между тестовым набором и обучающим набором. Другими словами, GPT-2 демонстрирует меньшее запоминание, чем случайно выбранная часть человеческого текста. Это кажется довольно убедительным свидетельством того, что модель обладает нетривиальной способностью к обобщению.

Стоит ли скептически относиться к их результатам? Возникает законный вопрос о том, точно ли OpenAI представляет возможности генерации своей модели. Я лично хотел бы видеть количество входных данных, которые они вводили в GPT-2, чтобы получить отображаемые образцы (то есть степень того, что они называют выборкой мета-вишни). Однако они предоставляют свалку сотен сырых образцов GPT-2, что дает нам более четкое представление о возможностях их моделей. Они также указывают для каждого тщательно подобранного фрагмента высококачественного текста GPT-2, сколько образцов потребовалось для его достижения, чего я нечасто видел в других статьях (включая мою собственную). Наряду с выпуском кода, на мой взгляд, подход OpenAI соответствует стандартам других опубликованных статей по НЛП.

Влияние фальшивого текста человеческого качества на общество

Теперь к противоречию. OpenAI решила не раскрывать веса своей крупнейшей модели GPT-2, заявив о том, что «большие языковые модели используются для создания обманных, предвзятых или оскорбительных выражений в больших масштабах». Давайте пока отложим в сторону вопрос, может ли GPT-2 это сделать, и сначала спросим: если бы у нас была модель с открытым исходным кодом, которая могла бы генерировать неограниченный текст человеческого качества с определенным сообщением или темой, могло ли это быть плохо?

Думаю, да. Это правда, что люди уже могут писать фальшивые новостные статьи, и что правительства уже нанимают тысячи людей, чтобы они писали предвзятые комментарии в соответствии с их повесткой дня. Но автоматизированная система может: (1) позволить злоумышленникам, у которых нет ресурсов для найма тысяч людей, проводить крупномасштабные кампании по дезинформации; и (2) резко увеличить масштабы дезинформационных кампаний, уже проводимых государственными структурами. Эти кампании работают, потому что на людей сильно влияет количество людей вокруг них, разделяющих определенную точку зрения, даже если она не имеет смысла. Увеличение масштаба должно соответственно увеличить влияние правительств и компаний на то, во что мы верим.

Чтобы бороться с этим, нам нужно начать исследование методов обнаружения текста, созданного ИИ. Это вызовет другие проблемы по сравнению с обнаружением фальшивого видео и речи: хотя для влияния на мнение людей требуется только одно высококачественное фальшивое видео, видео очень многомерны, и, вероятно, легче обнаружить артефакты созданные. По моделям ML. С другой стороны, фальшивый текст, сгенерированный ИИ, должен быть выполнен в большом масштабе, чтобы оказать влияние (в противном случае это мог бы сделать человек), но поскольку текст состоит из отдельных слов, может быть труднее определить, является ли конкретный фрагмент текста генерируется ИИ, особенно если он короткий.

Итак, есть законные аргументы в пользу того, что широкое распространение идеального текстового генератора человеческого уровня, не задумываясь о последствиях, может быть плохой идеей.

Ажиотаж в отношении ИИ и мотивы OpenAI

Есть еще одна причина, по которой многие постулируют, почему OpenAI не раскрывает параметры своих моделей, - чтобы повысить шумиху в своих исследованиях. Теория состоит в том, что OpenAI, зная, что новостные агентства будут больше освещать исследования, если они смогут выдвигать нарратив «ИИ опасен», отказался от своей модели, чтобы о них писали сенсационные новости, тем самым повышая признание OpenAI общественностью, и дальнейшее закрепление воспринимаемой ценности работы OpenAI по обеспечению безопасности ИИ.

OpenAI не писал о своем подходе к взаимодействию с журналистами, но есть некоторые пробелы, которые мы можем заполнить. Как и другие промышленные лаборатории, OpenAI явно заботится о восприятии и признании общества. Они также открыто призывают журналистов писать статьи о своих исследованиях (иначе они бы не предоставили им доступ к GPT-2). Вдобавок ко всему, поскольку OpenAI является некоммерческой организацией, они получают еще большее преимущество от публикации своих исследований, поскольку это, вероятно, увеличивает пожертвования и, следовательно, их бюджет для проведения дополнительных исследований. Трудно сказать, насколько OpenAI контролирует новости, которые о них пишут, но некоторые из заголовков и статей о GPT-2 весьма апокалиптичны.

Итак, как мы узнаем, что основной мотивацией OpenAI не является получение большего влияния и денег? Короткий ответ: нет. Мы должны поверить OpenAI на слово, что им действительно небезразлично социальное воздействие своих исследований. Для меня в это нетрудно поверить, учитывая, что я знаю многих из этих людей лично.

Но многие исследователи, похоже, не хотят приписывать себе положительные намерения: они воспринимают OpenAI либо как организацию «святее, чем ты», которая думает, что спасет мир, либо как группу, введенную в заблуждение идеей «сингулярности ИИ» и склонную к страху. торгашество или марионетка эго Илона Маска, предназначенная для максимального освещения новостей, или некоторая их комбинация. Слово «Open» в их имени в сочетании с чрезмерным вниманием СМИ и связью с Илоном, кажется, порождает особую ненависть, которая вылилась в Twitter и Reddit в ответ на объявление GPT-2.

Эти критические замечания достойны обсуждения и содержат крупицы правды (за исключением того, что, насколько мне известно, Илон больше не в правлении OpenAI и какое-то время не влиял на их решения). Искажение результатов исследований искусственного интеллекта в средствах массовой информации является реальной проблемой, как и чрезмерное внимание, уделяемое промышленными лабораториями из-за ажиотажа в средствах массовой информации, которая сводит на нет исследователей в других местах. Предстоит важное обсуждение роли PR большой лаборатории в влиянии на общественное восприятие ИИ.

Но я призываю наблюдателей на время отложить в сторону свои суждения об OpenAI (вы можете вернуться к ним позже) и подумать о том, что здесь происходит на самом деле. Как исследователи машинного обучения, мы создаем вещи, которые влияют на людей. Рано или поздно мы перейдем черту, где наши исследования могут быть использованы злонамеренно для совершения плохих поступков. Должны ли мы просто подождать, пока это произойдет, чтобы решить, как мы будем проводить исследования, которые могут иметь негативные побочные эффекты?

Я особенно разочарован пренебрежительно саркастической реакцией видных деятелей сообщества машинного обучения. Я не буду обсуждать это подробно, но я думаю, что это нормализует пренебрежительное отношение к социальному влиянию ОД в целом. Если вы новичок в этой области и видите, как крутой известный исследователь шутит над теми ботаниками, которые не выпускают свою глупую модель машинного обучения, вы, вероятно, усвоите эти суждения, не задумываясь о них критически (по крайней мере, я легко под влиянием известных исследователей искусственного интеллекта в магистратуре). Не думаю, что это очень полезно.

Один исследователь заметил в Твиттере, что DeepMind могла бы сделать что-то подобное с выпуском WaveNet, модели, которая генерирует очень качественную человеческую речь, и они были более социально ответственны за то, что * не * сделали это (они не упомянули этические последствия вообще в их первоначальном выпуске). Это правда, что в исследованиях OpenAI нет ничего особенного или волшебного - другие лаборатории проводили исследования, где можно было бы воздержаться от них. В некоторых промышленных лабораториях действительно есть группы по обеспечению справедливости, которые проверяют исследования перед выпуском, но мы как поле не знаем, какие нормы они используют или стандарты, которые они соблюдают. OpenAI, похоже, единственная промышленная лаборатория, публично рассматривающая этические последствия своих исследований в области машинного обучения. Даже если они в первую очередь движимы жадностью или шумихой, я думаю, что проблемы, которые они поднимают, заслуживают того, чтобы к ним относились серьезно.

Движение вперед: начало разговора о социальном воздействии

Действительно ли модель GPT-2 оправдывала такую ​​осторожность? Сложно сказать. Подобные решения вызывают множество вопросов: как долго это действительно задерживает плохие актеры в воспроизведении этого результата? Какой компромисс с воспроизводимостью? Где проходит грань между исследованиями, которые безвредны, и исследованиями, которые опасны? Как мы можем ответственно взаимодействовать с журналистами, чтобы эти события точно освещались? В таком случае, достаточно ли безобиден GPT-2, чтобы его следовало полностью выпустить? Следует ли OpenAI предоставлять ограниченный доступ исследователям для обеспечения воспроизводимости результатов? Или, может быть, им вообще не следовало выпускать газету? OpenAI, похоже, готов участвовать в обсуждении этих проблем (они дают электронное письмо внизу своего сообщения в блоге с просьбой высказать свое мнение), но этого недостаточно: эти обсуждения должны проводиться открыто, а не через обмен электронной почтой. .

Это самый важный вывод: сообществу машинного обучения действительно нужно начать открыто говорить о наших стандартах этических исследований. Нам нужна площадка, отличная от Twitter. Одна из возможностей - это семинар, который может быть совмещен с крупной конференцией по машинному обучению, такой как ICLR, ICML или NeurIPS, где мы сможем провести мозговой штурм о том, какие нормы мы хотели бы принять в своей области. Я могу представить себе своего рода контрольный список безопасности (аналогичный недавнему контрольному списку воспроизводимости), которому следовало бы следовать исследователям перед выпуском своей работы. Как и в областях биотехнологии и кибербезопасности, мы приближаемся к тому моменту, когда небольшая часть документов по ML может быть использована не по назначению. Этого должно быть достаточно, чтобы мы начали что-то с этим делать.

Есть исследователи машинного обучения, которые думают: Вся эта ситуация нелепа, ИИ все равно не работает. Позвольте мне вернуться к обучению моих моделей . И это часть проблемы: изнутри часто кажется, что прогресс идет постепенно, и ничто не работает так, как должно (особенно RL). Но исследования ML уже оказывают влияние в реальном мире (например, для принятия решений по заявкам на получение кредита, вынесению приговора, найму персонала и т. Д.). Предубеждения в этих алгоритмах сейчас обнаруживаются, но это произойдет через годы после того, как они были впервые реализованы, и тем временем они оказали серьезное влияние на жизни людей.

По мере того, как наши системы станут более компетентными (а они, в конечном итоге, станут), мы сможем делать все более удивительные вещи и, надеюсь, изменить мир к лучшему. Но вероятность неправильного использования также значительно возрастет. Если большинство исследователей машинного обучения не учтут последствия своей работы для общества, прежде чем опубликовать ее, те, кому это небезразлично, будут постоянно играть в догонялки. Если мы хотим минимизировать вред, который машинное обучение причинит миру, этого просто недостаточно.

Спасибо Алексу Ирпану и Джин Харб, которые оставили отличные отзывы об этом посте, и Наташе Дженсен за идею «контрольного списка безопасности».