Трансформеры как мягкие разумы над языком

Исследования в области искусственного интеллекта долгое время преследовали цель дать системе явные знания и иметь обоснование этих знаний, чтобы делать выводы, начиная с самых ранних лет в этой области ( например, Маккарти Советник в 1959). Однако создание подходящих представлений знаний оказалось сложной задачей. Существует ли современная версия этого, в которой модели языковых преобразователей аналогичным образом учатся рассуждать (или эмулировать рассуждения), но используя правила, выраженные в языке, минуя формальное представление? Если бы это удалось сделать, то открылись бы новые возможности для ответов на вопросы, объяснимости, корректируемости и контрфактических рассуждений.

В новой работе от AI2 мы показываем, что это действительно возможно, обучая трансформер тысячам сгенерированных машиной правил (выраженных на шаблонном английском языке) и выводам, которые дедуктивно следуют из этих правил. Полученная модель, названная RuleTaker, может использовать новый набор правил, которых она никогда раньше не видела, и точно так же надежно делать выводы о том, следует ли утверждение из правил или нет. Например, рассмотрите возможность дать RuleTaker следующие правила об электричестве, за которыми следует вопрос:

Металлы проводят электричество.
Изоляторы не проводят электричество.
Если что-то сделано из железа, то это металл.
Гвозди сделаны из железа.

Вопрос:Правда ли, что гвозди проводят электричество? Ответ RuleTaker:ИСТИНА

Здесь RuleTaker отвечает так, как и следовало ожидать, исходя из приведенных фактов: гвозди сделаны из железа, а это металл, проводящий электричество. Предположим, теперь мы изменим факты, заявив, что железо является изолятором, т. е. введем контрфактическое утверждение:

Металлы проводят электричество.
Изоляторы не проводят электричество.
Если что-то сделано из железа, то это изолятор.
Гвозди сделаны из железа.

Предположим, мы сейчас спросим:

Вопрос:Правда ли, что гвозди проводят электричество? Ответ RuleTaker:НЕВЕРНО

RuleTaker снова выдает (правильный) ответ, теперь уже ЛОЖНЫЙ — похоже, он правильно рассуждал (или подражал рассуждениям) относительно нового знания: гвозди — это железо, которое находится в изоляторе (как мы сказали, выделено жирным шрифтом выше), что делает не проводить электричество. В наших тестах RuleTaker надежно выдает ответы, соответствующие предоставленным знаниям, имитируя выводы, к которым пришел бы формальный алгоритм рассуждений, даже если правила и темы отличаются от тех, на которых он обучался.

Во многих отношениях это весьма примечательно и сильно отличается от преобладающей парадигмы ответов на вопросы, когда речь идет о выборе ответной фразы в найденном фрагменте текста. Скорее, это (насколько нам известно) первая демонстрация того, что трансформеры могут эмулировать рассуждения с явными наборами правил в языке, чтобы надежно приходить к правильным выводам.

Действительно ли RuleTaker рассуждает?

Мы оставляем этот вопрос открытым, в том числе и то, что вообще означает «рассуждение» в нейронном контексте. Что мы действительно показываем, так это то, что RuleTaker может отвечать на вопросы, требующие значительно большего количества рассуждений, чем во время обучения, отвечать на вопросы о задачах, которые были созданы независимо от обучающих данных, и о задачах, где знания перефразируются на более естественном языке, все с высокой точностью. Мы также показываем, что он способен с высокой точностью идентифицировать исходные предложения, от которых зависит вывод, предполагая, что он имеет некоторое представление о зависимостях между фактами и правилами и ответом (например, ниже).

Хотя это захватывающе, до сих пор наши демонстрации проводились в ограниченной обстановке: правила — это простые утверждения «если-то» (или их парафразы), а эмулируемые рассуждения — чисто дедуктивные. До нашей долгосрочной цели вывода на естественном языке (NLI) все еще существует большой пробел, который включает в себя использование многих других лингвистических форм и неустановленных фоновых знаний. Тем не менее, это предлагает путь вперед к этой более крупной цели, в которой мы обучаем нейронные системы не только находить диапазоны ответов, но и учиться рассуждать над языком на примерах таких рассуждений.

Как насчет гипотетического мира, в котором птицы обычно не летают, а страусы летают? Хотя мы, конечно, можем показывать вымышленные тексты современным системам в стиле BERT, они не могут полностью учитывать последствия, потому что они тесно связаны с реальностью, «переварив» миллионы предложений. Однако RuleTaker, получив несколько хорошо подобранных советов, может легко рассмотреть альтернативную вселенную, потому что он был обучен рассуждать с тем, что ему дается, а не с тем, что он запомнил во время предварительного обучения. . Где, например, страус построил бы свое гнездо? Мы можем описать и запросить такой мир:

Страусы — это птицы.
Страусы умеют летать.
Если птица умеет летать, она строит гнездо на деревьях.
Если птица не летает, она строит гнездо на земле .
Обычные птицы не летают.
Страусы — не обычные птицы.
Билл — страус.

Qn:Правда ли, что: Билл строит свое гнездо на земле? Ответ RuleTaker:ЛОЖЬ
Вопрос: Правда ли, что: Билл строит свое гнездо на дереве? ? Ответ RuleTaker:ИСТИНА

RuleTaker (правильно) пришел к выводу, что Билл, летающий страус, строит свое гнездо на деревьях — пример системы, которая, по-видимому, правильно читает и рассуждает на основе предоставленных знаний. Попробуйте сами или прочитайте статью здесь для получения более подробной информации.

Чтобы быть в курсе новых исследований AI2, подпишитесь на Информационную рассылку AI2 и не забудьте подписаться на нас в Твиттере: @allen_ai.