Китайская комната Сирла или собственная комната Вульфа
Этическая основа для приложений на естественном языке
Примечание. Хотя эта статья написана как серия из пяти частей, нет необходимости читать каждую часть по порядку или все части, поскольку каждая часть была написана как отдельная часть.
Вступление
В Части III этой серии (ссылка ниже), вдохновленной цитатой из Deep Learning with PyTorch (далее ниже), для построения предложений для (1) проверенных людей на платформах социальных сетей и (2) прозрачность использования языковых моделей для генерации текста, я обсуждал возможность машины, формирующей диссертацию, исследуя как механические желания, так и алгоритмически сгенерированные мировоззрения.
В данном документе, для дальнейшего построения и развития структуры для оценки этики приложений обработки естественного языка, я исследую две известные комнаты, а именно: (1) китайскую комнату Джона Сёрла и (2) собственную комнату Вирджинии Вульф, чтобы оценить правдивость утверждения, сделанного в исходной цитате, что «самосознание определенно не требуется» для выполнения задач на естественном языке.
Китайская комната Сирла
Представьте себе носителя английского языка, который не знает китайского, запертого в комнате, полной коробок с китайскими символами (база данных) вместе с книгой инструкций по манипулированию символами (программа). Представьте, что люди за пределами комнаты присылают другие китайские символы, которые, неизвестно человеку в комнате, являются вопросами на китайском языке (ввод). И представьте, что, следуя инструкциям в программе, человек в комнате может передавать китайские символы, которые являются правильными ответами на вопросы (вывод). Программа позволяет человеку в комнате пройти тест Тьюринга на понимание китайского, но он не понимает ни слова по-китайски.
Кажется, что наиболее показательные примеры (например, Стэнфордский эксперимент с зефиром для отложенного удовлетворения, король минус мужчина плюс женщина равняется королева для встраивания слов) становятся похожими на припевы, и поэтому вполне вероятно, что читатель знает часто обсуждаемый китайский язык Джона Сёрла. Аргумент комнаты с его предположением о человеке, который не понимает ни слова по-китайски, в одиночестве в комнате, где нет ничего, кроме инструкций по преобразованию входных данных с китайского в выходные данные на китайском языке. Китайская комната была предложена как аналогия с компьютером, и, как читатель, возможно, помнит, вывод аргумента Серла состоит в том, что, хотя компьютер с заданными синтаксическими правилами, возможно, может манипулировать символами тем, что кажется разумным, сам компьютер не понимает смысла или семантики.
Есть много ответов на аргумент китайской комнаты, включая, среди прочего, (а) ответ Системы, в котором говорится, что человек является лишь частью более крупной системы, то есть комнаты, и что система из-за ее способности обрабатывает вводимые данные на китайском языке, действительно понимает китайский язык, и (б) ответ робота, который, признавая, что компьютер без воплощения не может понимать слова и значения, утверждает, что воплощенный компьютер может учиться на собственном опыте по мере того, как учится ребенок (как обсуждается в Часть III этой серии). Здесь, однако, вместо того, чтобы обсуждать либо первоначальный аргумент, его самые известные ответы, либо мои собственные мысли относительно его значения для вычислительных систем, я хотел бы рассмотреть китайскую комнату как основу для оценки этики обработки естественного языка. приложения.
Собственная комната Вульфа
Но прежде чем применять комнату Сирла в качестве этической основы для оценки задач естественного языка, чтобы обеспечить полезный контраст, я сначала совершу вопиющий грех против феминизма, рассмотрев «Собственную комнату» Вирджинии Вульф - эссе о (или, точнее, об окружающей среде). ) женщины и художественная литература - полностью без секса и скорее как работа, сосредоточенная на комнате, которая может считаться антитезой комнаты Сирла, в которой в комнате Вульфа нет базы данных, с помощью которой можно преобразовать символы, а вместо этого мимолетные искры и рывки прихоти и памяти (как лоскутное одеяло и непостоянство с неотложностью), которые составляют творчество, потому что это черный ящик собственной комнаты (здесь, точнее, разума), занятой одним человеком с единственной перспектива, для которой входные данные не приводят к аккуратному выходу, поскольку изнутри этой комнаты входные данные отпечатываются и искажаются прошлым, ошибкой и контрфактическими, возможно, и обрабатываются способом, неотделимым от дней за днем. опыта, через который человек живет, прежде чем взять перо на бумагу, кончики пальцев на клавиши, ретроспективный взгляд на предусмотрительность, чтобы предположить -
Мысль - можно назвать это более гордым именем, чем она того заслуживала - спустила свою линию в поток. Минута за минутой он раскачивался взад и вперед среди отражений и водорослей, позволяя воде поднимать и опускать его, пока - вы знаете этот маленький рывок - внезапное скопление идеи в конце строки: а затем осторожное вытаскивание и осторожное выкладывание? Увы, лежала на траве, какой маленькой, какой незначительной выглядела эта моя мысль; рыбу, которую хороший рыбак опускает обратно в воду, чтобы она стала толще и стоила однажды ее приготовить и съесть.
Как, по сути, все, что можно осознать, - это то, чему он подвергается - удовольствие и боль, вызываемые в течение каждого прожитого дня (как опыт прорезает свои пути, как химическое травление), органический беспорядок в нем (так что без руководящих принципов для передачи или транскрипция)! Но я бесценно возвышаю человеческий опыт, возможно, за пределы его возможностей, потому что, даже несмотря на их различия, комнаты не такие уж разные, комнаты Вульфа и Сирла - логические и лирические, - поскольку в каждой из них есть одинокий человек, у которого есть только ограниченные возможности. контекст, с помощью которого можно дать ответ на мир за стенами (и тем не менее он или она).
Поэтому кажется вполне уместным использовать эти две комнаты в качестве основы для оценки этики автоматизации задач естественного языка, задав простой вопрос: какую комнату нужно занять?
Пожалуйста, присаживайтесь (но делайте это этично)
Как сказано в Части III, машины были созданы людьми для автоматизации нашего труда. Таким образом, при рассмотрении задач, которые раньше выполнялись только людьми, кажется разумным сначала рассмотреть основные цели задачи и характеристики того типа человека, который сможет достичь этих целей. В частности, вместо того, чтобы оценивать только способность компьютера достигать результатов на уровне человека, мы должны также оценить внимание, с которым конечный пользователь мог бы ожидать выполнения задачи, если бы ее нужно было выполнить вручную. (Обратите внимание, что в данном случае конечный пользователь для данного приложения - это человек, который предоставляет ввод и получает вывод.) Другими словами, при оценке этики, а не только при рассмотрении конечного результата, средства для получения Также следует учитывать конечный результат.
Вышеупомянутое различие (т. Е. Конечный результат против средств получения конечного результата) важно для этического использования инструментов обработки естественного языка из-за социального аспекта общения, который требует от собеседников неявно соглашаться придерживаться определенных социальных норм, поскольку обсуждается в Части II. По сути, для определенных задач (например, Привет, Siri, кто был вторым президентом США?) Конечный пользователь может быть больше озабочен правильностью ответа, чем любой другой особенностью взаимодействия. Однако для других задач конечный пользователь может захотеть, чтобы ввод вызывал более субъективный или иной нюансированный ответ, даже если результат не обязательно является оптимальным. Например, если человек обратился за терапией после потери любимого человека, то человек-терапевт может быть лучшим вариантом, чем алгоритм, даже если алгоритм может дать лучший совет, как в таких случаях, человеческий фактор - получение времени и внимания человека - может быть важнее практической полезности любого совета. Другими словами, конечному пользователю может потребоваться не просто правильное использование языка, а скорее понимание существа, которое может, например, посочувствовать или обсудить жизненный опыт.
Теперь, прежде чем обсуждать конкретные задачи обработки естественного языка, давайте рассмотрим игрушечный пример двух классов учеников начальной школы, то есть класса миссис Вульф и класса мистера Сирла, которым даны одинаковые (довольно расплывчатые) инструкции: напишите эссе о [некоторая указанная книга]. Для выполнения такой задачи ученик в классе миссис Вульф может дать идеи, основанные на жизненном опыте, но неверно истолковать содержание книги, в то время как ученик в классе г-на Сирла может подготовить отчет, который правильно перефразирует факты из книги, но не дает понимания. (Конечно, ученик миссис Вульф тоже может быть прав в фактах, но этот случай немного менее интересен, поскольку он более однобокий.) Оценки, получаемые учениками, зависят от того, ценит ли оценщик усилия над точностью или наоборот: если грейдер предпочитает точность, тогда перефразирования с места в комнате Сирла может быть достаточно; напротив, если предпочтительнее усилие, то ученик, сидящий в комнате Вульфа, получит более высокую оценку. Примечательно, что в этом примере для хорошей успеваемости учащихся полезно заранее определить рубрику, поскольку для таких задач необходимо учитывать ожидания человека, получающего результат.
Применение фреймворка к задачам на естественном языке
Как обсуждалось в предыдущем разделе, конечный пользователь может предпочесть, чтобы задача была завершена из комнаты Вульфа, если он или она ожидает, что ввод будет рассматриваться с субъективной или опытной точки зрения (т. Е. Если он или она ожидает, что тезис будет сформирован. ); таким образом, неэтично автоматизировать большинство таких задач, особенно если человек не знает, что задача была автоматизирована, или если человек имеет лишь смутное представление о возможностях машины в отношении данной задачи. Однако, если конечный пользователь может верить, что задача может быть разумно выполнена человеком, сидящим в комнате Серла, то есть человеком, который может следовать правилам для создания выходных данных, но не обязательно понимает значение входных данных, тогда большинство таких задачи могут быть выполнены с этической точки зрения с помощью алгоритма, предполагающего, что конечный пользователь осведомлен об автоматизации и что алгоритм может достичь адекватного уровня точности.
В этом разделе я расскажу, как этические рамки, представленные ранее, могут быть применены к трем приложениям на естественном языке: ответы на вопросы, перевод и чат-боты. Обратите внимание, что, поскольку я считаю, что структура является достаточно универсальной, я не буду приводить подробности, определяющие языковые модели, используемые для этих приложений; Тем не менее, я предполагаю, что модели обучаются только на основе текстовых источников или созданных вручную правил (и, таким образом, сенсорные данные не используются для получения эмпирических знаний).
Ответ на вопрос
Из трех задач задача ответа на вопрос наиболее похожа на задачу, рассматриваемую в аргументе китайской комнаты, и поэтому может показаться, что ответ на вопрос является очевидным кандидатом на автоматизацию. Однако не на все вопросы можно ответить взаимно однозначным соответствием, описанным в аргументе Серла (т. Е. При заданном input [x], return output [y]). Таким образом, в этом подразделе я противопоставлю два типа вопросов: (1) объективные вопросы и (2) субъективные вопросы. (Обратите внимание, что два других типа приложений, то есть боты для перевода и чат-боты, могут быть представлены как варианты задачи с ответами на вопросы.)
Для объективных вопросов, если есть один ответ на данный вопрос, и если этот ответ не меняется в зависимости от человека, отвечающего на него, то для любого входного вопроса понимание семантического значения вопроса не обязательно требуется для правильного вывод должен быть предоставлен. Следовательно, конечный пользователь, вероятно, захочет принять ответ, который был сгенерирован способом, аналогичным тому, который предполагался в комнате Сирла, и, таким образом, задачу этично автоматизировать. Обратите внимание, что этот тип задачи с ответами на вопросы по сути является задачей поиска информации, где возвращаемая информация должна соответствовать запрошенной информации.
Напротив, для субъективных вопросов может не быть единственного ответа, который можно было бы вернуть с учетом введенных данных, поскольку ответ должен зависеть от опыта человека, отвечающего. Следовательно, в этом случае для машины неэтично давать ответ , как если бы она придерживалась предполагаемого мнения. В качестве примера (с небольшими ставками) предположим, что конечный пользователь просит машину определить лучшую пиццерию в городе. Модель могла быть обучена на данных, которые позволяют ей давать последовательный ответ на эти входные данные, например, возможно, алгоритм делает заявление, основанное на настроении отзывов на сайте обзора; однако, поскольку машина не может сама сформировать мнение о пицце - будучи не в состоянии потреблять пиццу и давать человеческое суждение о качестве пиццы, - конечный пользователь, скорее всего, предпочтет узнать мнение горожан, которые ели из соответствующих пиццерий. Следовательно, в этом случае, вместо того, чтобы реагировать так, как если бы компьютер принял личность человека, который ел пиццу (и, таким образом, похоронил ее источники), было бы более этичным получить связанные источники, чтобы конечный пользователь мог оценить их надежность. для них самих.
Перевод
Как указывалось выше, задачи перевода не так уж отличаются от задач с ответами на вопросы, поскольку любую задачу перевода можно сформулировать как вопрос формы «Как сказать [слово | фраза | приговор | и т. д.] на [языке] ». Таким образом, такие факторы, как субъективность в сравнении с объективностью и прозрачностью, также вступают в игру при оценке этики приложений машинного перевода (хотя и в несколько иных формах).
Давайте сначала обсудим прозрачность, предположив, что человек хочет перевести предложение на свой родной язык. В этом случае машинный перевод может быть разумным, поскольку конечный пользователь может не счесть необходимым, чтобы перевод выполнялся лицом, полностью понимающим оба языка. В частности, поскольку конечный пользователь знает, что машина будет переводить ввод, он или она может рассматривать странности вывода с недоверием (при условии, что перевод не является непонятным). Следовательно, согласно предложенной схеме, машинный перевод этичен для этой задачи, так как человек в комнате Сирла, не знающий ни одного языка, может оправдать ожидания конечного пользователя.
Напротив, предположим, что машинный перевод используется для перевода статьи о текущем событии с одного языка на другой для публикации. В этом случае читатели переведенной статьи могут предположить, что она написана носителем переведенного языка, то есть кем-то, сидящим в комнате Вульфа. Следовательно, поскольку ожидания конечного пользователя могут не оправдаться (поскольку перевод был произведен не человеком, понимающим язык и предназначенным для передачи значения слов), неэтично размещать такой контент, если читатели не проинформированы о том, что содержание было переведено машиной.
В приведенном выше примере прозрачность необходима, потому что слова несут как объективное (денотативное), так и субъективное (коннотативное) значения. В частности, коннотация слова на языке оригинала и в контексте может принимать совершенно разные контекстные коннотации при переводе - даже если переведенное слово похоже на оригинал с точки зрения денотативного значения. Таким образом, использование машины для перевода статьи может привести к передаче неуместной информации или иным образом неверной информации. Кроме того, в литературных произведениях, таких как романы и поэзия, коннотативные и фонетические элементы слов часто важны для передачи образов и метафор, и, таким образом (хотя, возможно, это менее важно с этической точки зрения), машинный перевод может быть не в состоянии полностью уловить суть слов. намерения писателя как переводчика-человека.
Чат-боты
Хотя у приложений чат-ботов, безусловно, есть субъективные и объективные аспекты, которые следует учитывать, эти вопросы по сути не отличаются от тех, которые обсуждаются в разделе ответов на вопросы, и поэтому здесь не будут подробно излагаться. Так что давайте вместо этого сосредоточимся на вопросах прозрачности при использовании текста, сгенерированного компьютером. В частности, давайте рассмотрим, как структура Серла-Вульфа соотносится со сценарием, подобным (тесту Тьюринга), на платформе социальных сетей, когда конечный пользователь не знает, что он взаимодействует с машиной.
Как я обсуждал ранее, считается, что компьютер проходит тест Тьюринга не в том случае, если он демонстрирует интеллект, подобный человеческому, а в том случае, если он может обмануть человека, заставив его поверить в то, что он человек, с помощью коммуникационной задачи в стиле чат-бота. Однако, как указано в последнем подразделе, если конечный пользователь ожидает, что текст будет создан человеком, сидящим в комнате Вульфа, то приложение является неэтичным полностью из-за несоблюдения этого ожидания. Следовательно, любая машина, которая стремится обмануть человека (то есть любого бота, который явно не обозначен как бот), независимо от того, успешно ли она проходит тест Тьюринга и говорит ли она правду или ложь, является неэтично применяемой машиной.
Обратите внимание, что возможность обмана пользователей, нарушающих неявные правила общения, является ключом к этому последнему примеру. Кроме того, хотя, возможно, менее очевидно обманчиво, чем отсутствие маркировки чат-бота как такового, можно также сказать, что бот обманывает человека, если этот человек не имеет хорошего понимания способностей бота по сравнению со способностями человека. поскольку тогда ответственность за оценку алгоритма, используемого для создания текста, ложится на конечного пользователя, что на практике может оказаться невозможным. Более того, проблема обмана предполагает еще одну этическую дилемму в отношении ответственности за автоматизацию задач, которые раньше выполнялись только людьми. В частности, поскольку машину нельзя привлекать к ответственности за текст, который она генерирует, в сочетании с возможностью выражения мнениями модели, не предназначенной лицом, развернувшим модель, в настоящее время может оказаться невозможным смягчить негативное воздействие, производимое машиной. сгенерированные тексты.
Последние мысли
В этой статье, рассматривая несколько задач обработки естественного языка с точки зрения их способности к этической автоматизации, я показал, что самосознание может потребоваться для определенных задач естественного языка, если ожидания конечного пользователя должны быть успешно выполнены. Однако важно отметить, что даже если теоретически автоматизировать задачу этически допустимо, развертывание определенных моделей на практике не обязательно с этической точки зрения, поскольку способность модели выполнять задачу также должна рассматриваться как предпосылка для этичного развертывания. Таким образом, хотя описанная здесь структура может использоваться для оценки самой задачи, в ней ничего не говорится о развертывании реальной модели.
В заключительной части этой серии я продолжу исследовать вопросы подотчетности и опираюсь на обсуждения, представленные в частях с 1 по 4, в поддержку предложений для (1) проверенных людей на платформах социальных сетей и (2) прозрачности в отношении использования языковых моделей. для создания текста.
Цитата¹
Это замечательно логично для машины, даже если за бессвязным тезисом нет четко сформулированного тезиса.
Еще более впечатляюще то, что способность выполнять эти задачи, которые раньше выполнялись только человеком, приобретается на примерах, а не кодируется человеком в виде набора правил, созданных вручную. В каком-то смысле мы узнаем, что интеллект - это понятие, которое мы часто объединяем с самосознанием, и что самосознание определенно не требуется для успешного выполнения такого рода задач. В конце концов, вопрос о компьютерном интеллекте может даже не иметь значения. Эдсгер В. Дейкстра обнаружил, что вопрос о том, могут ли машины мыслить, «примерно так же актуален, как вопрос о том, могут ли подводные лодки плавать».
использованная литература
[1] Стивенс и др., 2020. Глубокое обучение с PyTorch. Manning Publications Co.
[2] Коул, Дэвид. 2020. Аргумент китайской комнаты. Стэнфордская энциклопедия философии.
[3] Вульф, Вирджиния. 1929. Своя комната. Пресса Хогарта.
