Понимание естественного языка

Часто, когда я вступаю в диалог, я застреваю на значении слов. Обычно я трачу намного больше времени, чем это социально целесообразно, настаивая на изложении их определений. Это может показаться тривиальным, но это не так. Язык очень силен. Слова, которые мы используем, дают нам возможность преодолевать пространство и время, манипулировать и организовывать мир, представлять реальность как Истину или искажать ее ложью. Слова — краеугольный камень цивилизации, поэтому я хочу тщательно выбирать, как их использовать.

Недавно я заинтересовался моделированием человеческого языка таким образом, чтобы мы могли интерпретировать его с помощью компьютеров. Это стремление приведет к захватывающим технологическим достижениям, которыми можно наслаждаться, и ужасающими внешними факторами, которые нужно планировать. Оптимистичный технолог и пессимистичный натуралист здесь и правы, и оба не правы, ибо будущее есть и всегда будет ужасным и прекрасным. Тем не менее, я не хочу пытаться делать какие-либо конкретные предсказания будущего в этом эссе, к счастью, у нас есть Black Mirror для этого.

Что меня интересует, так это то, что можно узнать из процесса деконструкции и перестройки языка таким образом, чтобы его мог понять другой потенциальный интеллект. Чем больше я узнаю о языке, тем больше понимаю, что понятия не имею, что такое язык на самом деле. Язык полон противоречий, которые мы редко принимаем во внимание. Одна вещь всегда разделяет значение со многими другими вещами. Контекст меняется на протяжении всего предложения, абзаца, рассказа или всей жизни. Слова — это субъективные инструменты, используемые для описания объектов другим субъектам, что может быть самой запутанной головоломкой во всем существовании. К счастью, один из лучших способов учиться — учить. Я надеюсь, что процесс обучения машин естественному языку (или, что более уместно, предоставление им возможности учиться) позволит нам узнать, что такое язык на самом деле, и, в конечном счете, кто мы такие.

Вышеупомянутое стремление обычно делится на две области: обработка естественного языка (NLP) и понимание естественного языка (NLU). НЛП имеет смысл для меня, и это область, в которой много прогресса. Он включает в себя методы и теории, используемые для надежной «обработки» языка для достижения определенных задач. Например, предложения можно анализировать на предмет тональности, вычисляя частоту положительных/отрицательных слов в соответствии со словарем, созданным экспертом. Или же слова могут быть преобразованы в векторы и переданы в алгоритмы машинного обучения, такие как скрытое распределение Дирихле, которое автоматически организует их по темам на основе плотности их кластеров при отображении в n-мерном пространстве. Эти вещи, хотя и технически сложные, имеют смысл.

Что не имеет смысла, так это второе поле, NLU. Что означает понимание? Оксфордский словарь определяет понимание как «восприятие предполагаемого значения». Однако это, как и большинство определений, не очень полезно. Я не всегда воспринимаю предполагаемый смысл чужих слов, просто спрашиваю жену, семью, друзей, коллег и так далее. Если мы примем это определение, что, вероятно, следует сделать, потому что оно взято из Оксфорда, я бы сказал, что люди часто неправильно понимают друг друга, говоря на одном языке. В таком случае, как мы можем научить машины понимать язык? Ясно, что идея языка нуждается в лучшем понимании. Для ясности задаю вопрос, что такое язык?

Язык — это многое.

Язык — это карта. Он отображает символические абстракции на объекты, а также на соизмеримые аффективные состояния, воспринимаемые субъектом.

Язык — это запоминающее устройство. Человеческие жизни конечны. Когда мы умираем, все невысказанные знания, которые мы накопили за свою жизнь, исчезают. Если мы преобразуем такое знание в язык, оно будет жить, если его запомнят или, еще лучше, запишут.

Язык позволяет сознанию. Сознание опирается на абстракцию, в частности, на способность абстрагировать себя как отдельную сущность, отдельную от окружающего мира. Абстракция, поскольку она отделена от реальных вещей, опирается на посредника. Этот заместитель — язык, представление вещей.

Язык — это инструмент. Острее любого меча язык может быть использован как самый мощный инструмент для манипулирования и формирования мира. С помощью языка мы можем создавать вещи, методологии и идеи и передавать их внутри и между личностями. Здания строятся из множества материалов (дерево, гвозди, гипс, железо и т. д.) и различных инструментов (пилы, молотки, мастерки, сварщики и т. д.). Идеи строятся из слов, которые являются и материалом, и инструментом. Тысячи лет назад могучая Римская империя построила великие здания, большинство из которых рухнуло. В то же время евреи, которых они угнетали, построили идею и записали ее. Он стоит и сегодня.

Язык — это парадокс. Так же, как культура, которую можно понять только изнутри культуры, язык можно понять только с помощью языка. Более того, мы предполагаем, что язык описывает вещи такими, какие они есть, но на самом деле он описывает вещи такими, какими они представляются по отношению к нам.

Все вышеперечисленные пункты являются значимыми путями для исследования, когда мы пытаемся понять, что такое язык. Однако именно этот последний пункт наиболее ясно говорит о том, почему язык является таким трудным явлением для изучения, кодификации и машинной интерпретации.

Чтобы создавать интеллектуальных агентов, способных к общению на уровне человека, язык должен быть интерпретируемым машиной. Если бы язык был просто символическим представлением, таким как речь и текст, тогда язык можно было бы понять статистически, как только наши алгоритмы и вычислительная мощность будут соответствовать задаче. Если бы это было так, NLU можно было бы решить.

Я попытаюсь прояснить этот вопрос на примере. Слово «молоток» знакомо всем. Обычно он отображается на объекте с длинной ручкой и тупым, тяжелым и плоским концом, используемым для удара и приложения значительной силы к концентрированной области, такой как шляпка гвоздя. Если бы это было все, то мы могли бы преобразовать алфавитные символы h, a, m, m, e и r в уникальный вектор с плавающей запятой. Мы могли бы добавить этот вектор в массивную таблицу поиска, содержащую все слова и их уникальные векторы, с нетерпением ожидая статистической обработки. Мы могли бы даже анализировать миллионы изображений молотков, преобразовывать их в матрицы и объединять вместе, получая уникальную машиночитаемую матрицу «мета-молотов», которую мы сопоставляем с вектором слов. Всякий раз, когда машина получает этот уникальный словесный вектор, она может вывести изображение молотка и наоборот.

К сожалению, язык не так прост. Любой, кто когда-либо пытался вбить в землю колья для палатки во время кемпинга, знает, что камень размером с грейпфрут также является молотком. «Мета-молот», который мы описали ранее, и этот камень кажутся очень разными, но имеют общие характеристики. Оба объекта могут быть схвачены рукой человека, они достаточно легкие, чтобы их можно было бросить, достаточно тяжелые, чтобы передавать значительную силу, имеют достаточно большую поверхность, чтобы поразить желаемую цель, и достаточно жесткие, чтобы сохранить структуру при контакте для оптимальной передачи силы.

Как оказалось, молоток — это все, что соответствует вышеуказанным критериям. Это означает, что для того, чтобы по-настоящему понять, что такое молот, нужно понимать возможности человеческих рук и интуитивную физику (применительно к человеческим телам), а также способность задавать определенную цель, которую можно получить, разбивая предмет.

Можно сказать, нет проблем. При наличии достаточного количества времени все молотоподобные вещи могут быть каталогизированы, поскольку нет правил, согласно которым вещь может быть только одной вещью. К категории молотков можно добавить все, что похоже на молоток, например теннисные ракетки, которые держат сбоку, и миниатюрные бейсбольные биты. Однако то, что является молотком для одного, не всегда является молотком для другого. Например, за годы развития мелкой моторики я могу использовать пустую стеклянную бутылку в качестве молотка, если принимающая поверхность достаточно мягкая. Ребенок с менее совершенными двигательными способностями, скорее всего, разбил бы бутылку, пытаясь выполнить это задание. То, что разбивается на осколки стекла при ударе по цели, не является молотком.

Я думаю, что процесс поиска альтернативных значений слов неисчерпаем. Мне нужно только упомянуть о существовании молота Тора, чтобы доказать это. Молот Тора — это явно молот, но он разбивал хаотические силы природы, часто представленные драконами и великанами, в порядок и Истину. Это другой вид молотка, но все же молоток.

Сложность описанной выше проблемы заключается в двух областях: предварительном знании и субъективности. Априорное знание — это вся известная информация, влияющая на явление, которое не является явным. У людей есть много предварительных знаний, а у машин, по сути, их нет (хотя некоторые байесовские вероятностные модели оставляют место для условного обучения). Другими словами, машины наивны во всем, кроме того, что им явно говорят. Если люди специально не включили условную информацию в пространство функций для обучения модели машинного обучения, машина останется полностью амбивалентной к такой информации.

Однако кодирование необходимых предварительных знаний человеческого уровня для решения такой проблемы было бы невозможно. Это потому, что, хотя люди наивны ко всему, чего мы не знаем, мы особенно наивны ко всему, чего не знаем, что знаем. Мы не знаем точно, что молоток, которым мы забивали гвоздь в стену, чтобы повесить картину, также метафорически является тем же самым, что Тор использует, чтобы привести хаос в порядок. По какой-то странной причине мы можем установить связь.

Машины не могут установить это соединение. Встраивание слов, представляющее собой алгоритмы, обученные на массивных текстовых корпусах, которые отображают векторизованные слова в n-мерное пространство на основе словесных ассоциаций, неплохо справляются с этой задачей. Например, используя популярную модель встраивания слов word2vec, можно вычесть векторы «мужчина» из «король» и добавить «женщина», и в результате получится «королева». Это просто потрясающе. Это работает настолько хорошо, что почти непонятно. Несмотря на эти достижения, попытки систематизировать все предшествующие знания будут сорваны из-за огромного объема, изменчивости контекста и, прежде всего, из-за нашего собственного невежества.

Следующая и еще более сложная проблема — это проблема субъективности. Как мы обнаружили ранее, объект не определяется сам по себе. Вместо этого объект определяется его отношением к субъекту. Хрупкая стеклянная бутылочка – не молоток для неуклюжего ребенка. Камень не молот для тех, чьи руки слишком малы, чтобы схватить его. Молот Тора — всего лишь молот для Тора (или Криса Хемсворта), который один может поднять его и разбить вещи. Мало того, что объекты могут иметь несколько интерпретаций в зависимости от субъекта, объекты могут быть представлены лингвистически только субъектами, которые вызывают их к жизни. Молоток - это не просто вещь. Молоток — это вещь с контекстно-зависимыми свойствами, которую можно использовать для разбивания вещей. Если бы мы могли решить (что маловероятно) загадку контекстно-зависимых свойств, то тот факт, что молоток является молотком только в том случае, если его нужно использовать для разбивания вещей, представляет собой целый ряд трудностей.

Чтобы знать, что такое молоток, нужно знать, что значит хотеть что-то разбить. Человеку не требуется много месяцев жизни, чтобы понять, насколько полезно (или, по крайней мере, интересно) разбивать вещи. Разрушение является частью репертуара потенциальных человеческих действий. Чтобы пояснить это, давайте в качестве примера возьмем собак. Разгром не является частью репертуара потенциальных собачьих действий. Собаки не обладают физической способностью хватать молоток или размахивать им. Следовательно, собакам не нужно желать разбивать или понимать концепцию молотка. Копать? Конечно, это потенциальное действие собаки. Лопаты-нет, потому что их лапы не позволяют использовать такой инструмент. На первый взгляд кажется, что собаки понимают простые слова, например, мяч. Однако простой мысленный эксперимент показывает, что это не так, поскольку они не совсем точно понимают значение слова (если мы придерживаемся оксфордского определения). Для собак мяч — это предмет, за которым нужно гоняться. Для человека мяч — это вещь, которую нужно бросить. Это разные вещи. Мы можем пойти навстречу собакам, потому что мы также понимаем концепцию погони, но они не понимают и не будут понимать концепцию броска. Ни один другой вид не может, и к лучшему. Мне не хочется воображать себе мир, в котором белки могли бы не только беспорядочно бросать орехи над ничего не подозревающими жертвами случая, но и точно целиться и бросать их. Шимпанзе с их очень подвижными плечевыми суставами подходят близко. Тем не менее, их относительное отсутствие вращения бедер препятствует любой разумной мощности броска, что делает действие бесполезным и неучтенным.

Я хочу сказать, что слова представляют собой действия и состояния, воспринимаемые творческими, манипулятивными и специально воплощенными существами. Весь наш лексикон построен вокруг опыта эксплуатации человеческого тела в конкретной среде. Чтобы по-настоящему понимать человеческий язык, нужно быть человеком. Например, одно из самых человеческих действий, которые мы совершаем, — это определение целей. Мы оцениваем настоящее, фантазируем о предпочтительном будущем, а затем создаем план действий, чтобы превратить настоящее в желаемое будущее. Иногда в этом процессе требуется разбивание, поэтому мы используем молоток. Однако машина может выполнять процесс разрушения только в том случае, если она запрограммирована на это. Машина может выполнять какие-либо действия только в том случае, если она специально запрограммирована на это. Чтобы понять слово, нужно быть способным к действию, представленному этим словом. Чтобы понять слово «молот», машина должна быть способна бить молотком. Доведение этой идеи до конца означает, что для того, чтобы машина понимала все слова, она должна быть способна выполнять все действия.

Моя цель не быть слишком эзотеричной. Я пишу эту статью не как теоретическое исследование, а как способ собраться с мыслями и прояснить свой подход к НЛП/НЛУ. Я считаю, что это упражнение помогло в достижении этой цели, и я надеюсь, что вы согласитесь. В то время как задача понимания языка резко возросла передо мной (и я только коснулся поверхности), я считаю, что нашел некоторые части, которые стоит собрать. Я почти уверен, что понял, что концепция NLU смехотворна (пожалуйста, бросьте мне вызов, если вы не согласны, я хочу учиться). Тем не менее, НЛП имеет огромный потенциал для роста. В НЛП наша цель не должна заключаться в том, чтобы помочь машинам «понимать» наш язык, а скорее в том, чтобы отражать нам информацию о нас самих, которую мы не знали, или не знали, что мы уже знали и принимали как должное. С такими алгоритмами, как ранее упомянутый анализ тональности или тематическое моделирование, можно добиться значительного прогресса. Кроме того, мы только вступаем на неизведанную территорию языкового ренессанса с разработкой мощных алгоритмов преобразования, таких как BERT. Это очень интересно.

Я не думаю, что NLU и реальный разговор на человеческом уровне с другими разумными агентами возможны или даже должны быть нашей целью. Во всяком случае, я поражен, что люди способны на это с другими людьми. Тем не менее, я вижу НЛП как невероятно мощную и растущую область с большими перспективами. Хотя разговор на человеческом уровне может быть теоретически невозможен, НЛП может создать машины, способные вести человеческую беседу. С этой целью интеллектуальный агент может быть способен разговаривать, отражая наше собственное использование языка с большой изощренностью. В этом свете я представляю себе будущее, в котором мы, кажется, общаемся с машинами, но на самом деле разговариваем со своим сознательным и подсознательным «я». Такие разговоры могут открыть нам более глубокое понимание того, как мы используем язык, кто мы такие и, в конечном счете, как мы думаем. Этот процесс может направить нас к нашим достоинствам, пролить свет на наши темные пятна и разрушить стены семантических ловушек, которые сковывают наше восприятие мира. Хотя такая машина технически не может понять разговор, может даже не иметь значения, сможет ли она потенциально пройти тест Тьюринга (когда человек не может сказать, взаимодействуют ли они с компьютером или с другим человеком). Как только мы перейдем этот мост, я не думаю, что мы сможем решить, что реально, а что нет.