Сегодня мы выпустили демонстрацию, учебник и базу с открытым исходным кодом со сценариями обучения и тестирования для создания современного диалогового искусственного интеллекта, использующего переносное обучение из модели языка-трансформера.

Почему?

Как вы можете видеть, взглянув на наши страницы GitHub и medium, на Hugging Face, мы твердо уверены, что открытый исходный код и обмен знаниями должны быть по умолчанию. Это самый простой и справедливый способ для всех принять участие и пожинать плоды выдающегося прогресса глубокого обучения для НЛП.

Без открытого исходного кода вся отрасль сталкивается с риском не добиться прогресса и сосредоточить возможности в руках пары крупных игроков (будь то корпорации или государства), и никто, кроме них, не сможет понять, конкурировать или контролировать.

В дополнение к этой твердой вере в открытый исходный код, когда мы начали работать над этим новым подходом к созданию диалогового искусственного интеллекта, мы поняли, что нам необходимо поделиться им со всем миром. Точно так же, как Элиза, Алиса, Мицуку или Сири уступили место целому поколению интерактивного опыта, мы считаем, что этот новый подход, основанный на наборах данных, проложит путь не только к лучшим помощникам ИИ, но и к более человечному способу взаимодействия и понимания технологий. через естественный язык, родной интерфейс людей.

Как предотвратить злонамеренное использование?

Несмотря на нашу твердую открытую позицию, мы также считаем, что технологии не являются нейтральными, и для того, чтобы они оказали положительное влияние, необходимо ежедневно предпринимать конкретные действия. Например, почти год назад мы публично опубликовали ценности нашего разговорного искусственного интеллекта.

Как следствие, мы осторожно подошли к анализу не только положительного воздействия, но и потенциального злонамеренного использования этой новой версии.

Что касается большинства наших технологий, мы ожидаем их значительного использования в самых разных контекстах. В качестве ориентира наши пользователи обменялись полмиллиарда сообщений с помощью нашего разговорного ИИ, а наш репозиторий моделей трансферного обучения с открытым исходным кодом был установлен почти 200 000 раз за последние несколько месяцев. Тысячи компаний, инженеров и исследователей сейчас используют его по всему миру.

Когда мы проанализировали эту новую версию, мы пришли к выводу, что двумя основными практическими случаями злонамеренного использования технологии могут быть:

1 / Кардинальное улучшение спам-ботов

К счастью, на большинстве современных платформ обмена сообщениями приняты строгие меры по обнаружению и запрету спам-ботов, на которые не повлияет более продвинутый разговорный ИИ, поскольку обнаружение обычно зависит от ограничений, не связанных с разговором, таких как капчи или запросы и ограничение на создание учетной записи.

Кроме того, мы настоятельно рекомендуем регулирующим органам и платформам обратить внимание на такие подходы, как http://gltr.io для системного обнаружения генеративного текста.

2 / Массовая ловля сомов и подделка личных данных

По этой причине мы не оптимизировали возможности модели для работы со всеми видами BIOS. Это означает, что он будет хорошо работать с теми, на которых мы тренировались, которые были предоставлены convai challenge, но не будет работать слишком хорошо с другими, особенно настоящими, что усложняет работу по ловле кошек, чем кажется.

Кроме того, мы решили не выпускать полную модель GPT2, но использовали уменьшенную версию модели, которая генерирует диалог, который, даже если он впечатляет, обычно легко может быть рассказан отдельно от реального человеческого разговора, предотвращая большую часть воздействия кошачьей ловли. Мы присоединяемся к OpenAI и не выпускаем более крупную модель, пока они этого не сделают.

Наконец, чтобы смягчить как 1 /, так и 2 /, мы пришли к выводу, что мы должны дать пользователям, регулирующим органам и платформам несколько простых приемов, которые должны помочь распознать этот новый разговорный ИИ из разговора с человеком, чтобы избежать любой формы введения в заблуждение.

Как узнать, что вы разговариваете с помощью диалогового ИИ с трансферным обучением

  • Задайте рассуждение или вопрос на простом математическом языке. У моделей глубокого обучения очень низкие способности к рассуждению. Если они стараются не отвечать, они, скорее всего, бот:

  • Отправьте длинное сообщение с простым вопросом внутри. Модели глубокого обучения с трудом извлекают простой смысл из длинных предложений:

  • Заставьте его использовать редкие или менее распространенные слова, модели глубокого обучения не хотят этого делать:

Благодаря этому мы убеждены, что этот выпуск станет шагом вперед в нашей коллективной способности построить более открытое, интерактивное и диалоговое будущее. Но, как всегда, это открытое обсуждение, поэтому не стесняйтесь сообщить нам, что вы думаете.

🤗🤗🤗