Неделя 3: алгоритм убийства людей

CS198–79 Примечания к курсу "Философия вычислений"

1. Казалось бы, непреодолимый залив

Цель этого курса - поставить под сомнение общепринятую дихотомию между субъективным и объективным.

В предисловии к своему классическому произведению Гедель, Эшер, Бах Хофштадтер пишет:

Одним словом, GEB - это очень личная попытка объяснить, как одушевленные существа могут возникать из неодушевленной материи. (стр. 2)

Странная годелевская петля, возникающая в формальных математических системах, - это петля, которая позволяет такой системе… обрести «я». (стр. 3)

Одна из основных целей этой книги - побудить каждого читателя лицом к лицу столкнуться с очевидным противоречием, насладиться им, перевернуть, разобрать на части, погрязнуть в нем, чтобы в конце читатель мог понять новое понимание казалось бы непреодолимой пропасти между формальным и неформальным, одушевленным и неодушевленным, гибким и негибким. (стр. 26)

Эта «на первый взгляд непреодолимая пропасть» похожа на так называемую «метафизическую пропасть», которую мы обсуждали на неделе 1. Хофштадтер считает, что есть способ преодолеть этот разрыв. Он называет мост «Странная петля».

Теперь, если Хофштадтер прав, это было бы удивительным прорывом: он в основном решил бы проблему сознания и проблему разума и тела, загадку, которая преследовала человечество на протяжении тысячелетий. Так что же это за загадочная странная петля? Это должно быть что-то глубокое! Но на первый взгляд это кажется глупой игрой слов четырехлетнего ребенка.

2. Странные петли

Рассмотрим это предложение:

Это предложение неверно.

Итак, истинно это предложение или ложно? Скажем, это правда (мы думаем, что это честно): тогда, поскольку он говорит, что он ложен, а мы думаем, что это честно, его утверждение должно быть правильным, и оно должно быть ложным. Скажем, это ложь (мы думаем, что это ложь): тогда, поскольку он говорит, что он ложен, а мы думаем, что это ложь, его утверждение должно быть неверным и должно быть правдой. Мы застряли в ситуации, когда не можем сказать, что предложение не является ни истинным, ни ложным. Любая попытка сделать это приведет к противоречию. Это один из примеров странной петли, также называемой парадоксом лжеца или парадоксом Эпименида.

В: Почему мы позволяем себе попасть в такую ​​петлю? Почему мы не можем просто запретить такую ​​петлю?

Отличный вопрос. Критик может сказать: очевидно, что в предложении, которое относится к самому себе, есть что-то патологическое, мы должны просто запретить их полностью. Фактически, Бертран Рассел, выдающаяся фигура математика 20-го века, полностью согласился с вами и посвятил свою жизнь разрушению странных петель! Но это может быть сложнее, чем кажется, потому что странную петлю будет трудно обнаружить:

Следующее предложение неверно.

Предыдущее предложение верно.

Хофштадтер говорит:

Взятые вместе, эти предложения имеют тот же эффект, что и исходный парадокс Эпименида; но по отдельности они безвредны и даже потенциально полезны. «Вину» за эту странную петлю нельзя возложить ни на одно из предложений - только на то, как они «указывают» друг на друга. (21)

Что ж, можно сказать, это все еще довольно просто обнаружить, просто мы должны запретить думать об обоих предложениях вместе; в чем дело? Теперь подумайте, что странная петля может заключаться не в двух, а в сотнях тысяч предложений. Некоторые из них вместе могут вызвать странные петли; некоторые из них не могут. Так что обнаружить странные петли сложнее, чем можно было бы ожидать.

В: Странная петля кажется бессмысленной. Мы просто застряли в петле, идущей вперед-назад, вперед-назад. Нет конечной цели. Как будто мы застряли. Как будто статично.

Это очень интересный момент. При чтении предложения часто возникает импульс сказать, что оно истинно или ложно. Это может настолько укорениться в уме, что можно подумать, что весь смысл предложения состоит в том, истинно оно или нет. (Фреге, логик и философ языка, думал именно об этом и посвятил свою жизнь тому, чтобы продемонстрировать это ... только чтобы быть опустошенным доказательством Гёделя.)

Но Хофштадтер думает наоборот: для Хофштадтера странные петли не истощают смысл, они порождают смысл! По словам Хофштадтера, «Странные петли» позволяют чему-то «бескорыстному, как камень или лужа» «воспринимать себя», «осознавать себя», «обретать самость».

Опять же, мы видим два совершенно противоположных взгляда на смысл. Ранее мы видели: кажется, что значение находится в случайности, но также кажется, что значение находится в разуме, противоположном случайности. Вы, как и Фреге, сказали, что странные петли бессмысленны, но Хофштадтер сказал, что они являются самой сутью значения. Опять же, в чем смысл и где он?

3. Бертран Рассел и наборы для самостоятельного глотания

Немного истории. Бертран Рассел был тем парнем, который абсолютно ненавидел парадоксы. Рассел хотел, чтобы математическая система была твердой и свободной от всех противоречий. Поэтому он потратил десять лет на создание Principia Mathematica, крепости математики, специально созданной с нуля, чтобы навсегда избавиться от всех странных циклов. В частности, он ненавидел наборы для самостоятельного глотания и хотел от них избавиться.

Кажется, что что-то не так, что-то злое, что-то патологическое в наборе, содержащем себя. Поэтому было бы неплохо разделить все наборы на два набора: (1) набор наборов, которые не содержат самих себя, и (2) набор наборов, которые содержат самих себя. Хофсатдтер называет наборы, которые не содержат самих себя, «обычными наборами», потому что они кажутся более нормальными, непатологическими наборами, о которых мы говорим, когда говорим о наборах. Пример: набор {1, 2, 3}. Ясно, что этот набор не содержит себя. Хофштадтер называет набор наборов, которые содержат сами себя «самовозглотающимися наборами». Вы можете представить себе человека, который окружает себя губами, ногами и ступнями, и все это плотно прилегает к нему. Ясно, что он / она кажется патологическим; Если вы назначены на свидание вслепую с кем-то, разве вы не хотели бы знать, окружают ли они себя своими сморщенными губами или нет? В красную корзину (нормальное общество) я хочу бросить все обычные наборы (нормальные люди), а в синюю корзину (тюрьму) я хочу бросить все самоглотающие наборы (люди с их губы вокруг себя). Теперь вот проблема. А что насчет «набора всех заурядных наборов» (человека, глотающего всех нормальных людей)? Является ли этот набор обычным набором или это набор для самоглотания? Это обычный набор (нормальный человек), потому что он должен содержать все обычные наборы (все нормальные люди), он должен содержать себя и следовательно, это должен быть набор для самостоятельного проглатывания (человек должен проглотить себя так же, как и все остальные). Но тогда это уже не набор всех обычных наборов, потому что он содержит самоглотающийся набор, а именно сам. Так что это не может быть заурядный набор (ненормально!). Но если это набор для самостоятельного проглатывания, поскольку он содержит себя, он должен находиться внутри себя (если тело человека находится внутри его / ее желудка, этот человек должен содержать себя). Опять же, это набор для самостоятельного проглатывания, и, поскольку предполагается, что набор должен быть набором из всех обычных наборов без места для набора для самостоятельного проглатывания (помните, что этот человек должен только глотает нормальных людей, но глотает его / ее очень ненормальное «я») это невозможно. Так что это не может быть набор для самостоятельного глотания.

Это не может быть ни то, ни другое, и это может означать только то, что мы не можем четко разграничить два набора множеств. Другими словами: учитывая произвольный набор, нельзя знать, является ли он самовозглотившимся или обычным! Это ужасно, потому что это означает, что нет абсолютно никакого способа определить, инфицирован ли комплект этой патологией - нет способа определить, является ли человек, с которым вы собираетесь пойти на свидание, нормальным человеком или каким-то чудаком. кто свернулся клубочком, изнутри ее / его рта сочилась слизь по всему ее / его телу.

В: А как насчет примера, который вы только что процитировали, {1, 2, 3}? Ясно, что это заурядный набор. Но разве вы не сказали, что мы не можем решить, является ли набор самоглотанием или обычным? Итак, как мы можем решить, что {1, 2, 3} - обычный набор?

Уловкой является слово произвольный в слове «учитывая произвольный набор, нельзя знать, является ли он самоглотанием или обычным». Хотя обычно оно означает то же самое, что и «а», слово произвольно, используемое здесь, является несколько техническим термином, хотя его довольно сложно, а может быть, и невозможно определить. Обычно произвольно в математике означает: все, что вы хотите. Это почти психологический термин. Если я говорю, что думаю о произвольном числе, это означает, что я думаю о числе, о котором хочу думать. Это решительно означает, что вы, кто не я, никогда не сможете узнать, о каком числе я думаю. Можно сказать: «Эта программа защищена от произвольных атак». Это означает, что что бы ни делал злоумышленник, программа безопасна. Ключ в том, что мы не знаем, что это за атака, не можем поместить их в список, не можем положить их все в корзину. В нашем примере мы можем сказать, что {1, 2, 3} обычное дело, потому что оно не произвольно, а специфично. Я записал: мы имеем дело с набором в точности {1, 2, 3}. Но если я говорю, что мы имеем дело с произвольным набором, все, что я говорю вам, это то, что это набор, ничего о том, как он выглядит, и никаких свойств набора. Можно думать об этом так: конкретный набор содержит больше информации, но произвольный набор содержит меньше информации, поэтому о произвольном наборе можно сделать меньше выводов, чем о конкретном наборе. Но бесполезно иметь способ решить, является ли конкретный набор самоглотанием или обычным. Мы хотим найти способ определить, является ли какой-либо набор самовозгорающимся или обычным, без какой-либо другой информации о наборе, предоставленной нам, кроме того, что это набор. А это гораздо более сложная и даже невозможная проблема.

Рассела мучила эта проблема. Он думал, что если математика не сможет отфильтровать эти патологические элементы, математика не сможет опираться на надежный фундамент, и все, что мы знаем о математике, не может быть абсолютно верным. После десятилетия борьбы с этой проблемой и почти безумия Рассел опубликовал фолиант «Принципы математики». Но идеалы книги, обеспечивающие фундамент для свободной от противоречий математики, были полностью разрушены, когда Гёдель опубликовал свои теоремы о неполноте.

Рассел был опустошен. Но у него родился ребенок, он расслабился, вступил в открытые отношения и провел остаток своей жизни, выступая за мир в мире, сошедшем с ума из-за Второй мировой войны. Ему также удалось наставить одного из величайших философов того времени, Витгенштейна.

Ради экономии времени я должен был дать вам карикатурную версию Рассела, но на самом деле он вел хорошую и увлекательную жизнь. Если вы хотите получить интуитивное представление о его жизни и теореме Гёделя о неполноте в полном историческом контексте, я настоятельно рекомендую книгу комиксов Logicomix, которая начинается с Рассела, выступающего в защиту мира во время Второй мировой войны прямо здесь. в Калифорнийском университете в Беркли.

4. MU-Puzzle

В разделе 1 мы сказали, что хотим поговорить о преодолении пропасти между формальным и неформальным. Итак, давайте сначала выясним, что мы подразумеваем под «формальным» и «неформальным». Это подводит нас к первой главе GEB, головоломки MU.

MU-головоломка дает вам представление о том, что такое формальные рассуждения. Система выглядит так.

· Аксиома: дано «МИ».

· Правило 1. Если у вас есть строка, последняя буква которой - «I», вы можете добавить U в конце.

· Правило 2: Предположим, у вас есть M x. Затем вы можете добавить M xx в свою коллекцию.

· Правило 3: Если III встречается в одной из струн вашей коллекции, вы можете создать новую строку с U вместо III.

И задача состоит в том, чтобы создать строку «MU». Эта установка иллюстрирует некоторые важные моменты. Во-первых: все формальные системы нуждаются в некоторой аксиоме (аксиомах), которые являются неоспоримыми основополагающими предположениями. Что уже интересно: некоторые могут думать о формальных рассуждениях как о рассуждениях, свободных от каких-либо предположений, но это неверно. Мы не сможем оторваться от земли, если у нас нет земли, с которой можно оторваться. Мы должны начать где-нибудь с чего. (Лакофф, наверное, сказал бы, что это «где-то», земля, и есть тело…)

Есть знаменитый эпизод об этой идее, который может показаться несколько сексистским или антисексистским, в зависимости от того, как на это смотреть. Какой-то известный ученый читает лекцию о происхождении Вселенной. Старая женщина в аудитории поднимает руку и, не соглашаясь, говорит: «Я понимаю вашу теорию, но она неверна. Вселенную на самом деле поддерживает гигантская черепаха ». Ученый, цинично позабавившись, говорит: «Хорошо, моя дорогая, тогда чем поддерживает черепаху?» И женщина говорит: «Первая черепаха стоит на спине второй черепахи, которая намного больше». «Хорошо, а на чем стоит вторая черепаха?» «Вы думаете, что такой умный, мистер, но это бесполезно. Это черепахи до упора! "

У женщины есть один важный момент: без некоторых предположений, на которые можно опираться, мы не сможем избежать бесконечного регресса. Таким образом, он указывает на логическую дыру в теории ученого: конечно, вы можете придумать теорию о происхождении Вселенной, например, о Большом взрыве, но что вызвало это? Чтобы этого избежать, нам нужны исходные предположения. Аксиома - это такое предположение, на котором стоит стоять. (Эта идея снова всплывает на четвертой неделе в Двухчастном изобретении.)

Во-вторых, правила описывают, как мы начинаем от аксиом, чтобы перейти к новым теоремам. Аксиома дает нам основу, но бесполезно сидеть и ничего не делать на земле. Мы хотим взлететь и дотянуться до звезд. Правила дают нам возможность летать вверх. Правила как аксиомы считаются истинными. Хофсатдтер ставит перед нами задачу достичь одной такой звезды в этой формальной системе: «MU». Сможем ли мы достичь этого?

Если вы пробовали это, возможно, вы были разочарованы и подозревали, что это невозможно. Действительно, в этой системе нет возможности попасть в «MU». И вот еще один важный момент: если бы мы попросили компьютер решить эту проблему, он никогда бы не остановился и никогда не узнал бы, что он не может добраться до «MU». Другими словами, люди могут «выпрыгнуть» из системы, а компьютеры - нет.

Это неотъемлемое свойство интеллекта, что он может выпрыгнуть из задачи, которую он выполняет, и проанализировать, что он сделал ... Например, человек, читающий книгу, может заснуть. Вместо того чтобы продолжать читать, пока книга не будет закончена, он с такой же вероятностью отложит книгу в сторону и выключит свет. Он вышел «из системы», и все же нам это кажется самым естественным в мире. … Конечно, бывают случаи, когда только редкий человек будет иметь видение, чтобы постичь систему, которая управляет жизнями многих людей, систему, которую раньше даже не признавали системой; тогда такие люди часто посвящают свою жизнь тому, чтобы убедить других в том, что система действительно существует и что из нее следует выйти! (стр.37)

5. Алгоритм убийства

Предположим, это 2020 год, и новый беспилотный автомобиль Uber должен решить, кого убить: человека h1 или человека h2. Двое людей находятся прямо перед автомобилем, и автомобиль может слегка повернуть налево, чтобы попасть в h1, или слегка повернуть вправо, чтобы попасть в h2. Если он ничего не сделает, оба человека умрут. Что должна делать машина? Скорее: как программистам Uber запрограммировать автомобиль на действия в такой ситуации?

Вот один способ. Автомобиль распознает лица на h1 и h2 и сопоставляет их лица с их аккаунтами в Facebook, LinkedIn, Twitter, а также с секретными правительственными базами данных. Затем он извлекает, сколько денег они зарабатывают, где они живут, их работа, их этническая принадлежность, их гендерная принадлежность, откуда они родом, информация об их семьях и т. Д. Затем он запускает алгоритм машинного обучения, чтобы решить, чья семья с большей вероятностью подаст в суд на Uber, если машина убьет члена их семьи. Скажем, семья человека h1 богата и влиятельна и подаст в суд с вероятностью 90%, а семья h2 всего лишь плебей и подаст в суд с вероятностью 4%. Поэтому машина убивает h2.

Это может показаться неправдоподобным. Но алгоритм машинного обучения, который в значительной степени решает, кто выживет, а кто умрет, уже существует: американские военные используют его, чтобы убивать людей в Пакистане с помощью ударов хищников. [1] Учитывая нынешний дух Кремниевой долины, я ' Я не слишком уверен, что Uber или Google сделали бы что-то подобное - неправдоподобно. На самом деле, я считаю наивным думать, что они не стали бы делать что-то подобное. До сих пор метод работы Uber заключался в том, чтобы игнорировать все постановления и законы, злоупотреблять всякой доброй волей и преимуществом сомнения, чтобы стать настолько могущественным, насколько это возможно. Кто сказал, что они больше не сделают то же самое?

Но я считаю, что это плохо. Я думаю, у нас должен быть способ сказать, что не может существовать никакого алгоритма, методы которого могут оправдать, кому жить, а кому умереть. Конечно, многие могут не согласиться. Эту дискуссию можно сформулировать лаконично:

Существует (должен ли) следующий алгоритм?

ЕСЛИ f (h1) ›f (h2), убить h1

ИНАЧЕ, убить h2

где f - функция, которая отображает H, набор людей, на набор рациональных чисел.

В: Очевидно, что этот алгоритм существует: вы только что сказали, что он существует, тот, который используют военные США.

Верно, я сделал. Я использую слово «существовать» в двух разных смыслах. Когда я сказал, что такой алгоритм существует и он есть у вооруженных сил США, я имел в виду «существовать» в обычном, повседневном смысле этого слова: они разработали этот алгоритм и используют его, чтобы убивать людей. Но когда я спрашиваю, существует ли алгоритм в вопросе, выделенном курсивом, я имею в виду «существовать» в математическом смысле. Если я скажу: «Существует ли алгоритм, который говорит, что 1 + 1 = 3?» можно было бы ответить: «да; мой двухлетний двоюродный брат использует именно этот алгоритм для сложения чисел ». Но ясно, что в этом случае кузен ошибается; не существует алгоритма, который говорит, что 1 + 1 = 3, потому что алгоритм должен быть правильным, а неправильный алгоритм вообще не является алгоритмом. В этом смысле я спрашиваю, существует ли эта функция? Может ли существовать какая-нибудь математически надежная функция, которая принимает на вход человека и выводит число?

Вот аргумент, почему такой функции не может существовать. Хофштадтер говорит, что человек может выпрыгнуть из системы. Какой бы ни была функция f, она должна быть вычислена внутри некоторой формальной системы. Так что, если Хофштадтер прав, человека нельзя удерживать внутри системы, «удерживать на месте», пока f запускает ее, анализируя взгляд вверх и вниз по своим конечностям. Человек способен выпрыгнуть из системы! Чтобы быть немного более точным, Хофштадтер говорит, что достаточно мощная формальная система способна «воспринимать себя», «говорить о себе», «осознавать себя»; поэтому мы можем сказать, что человек - это такая достаточно мощная формальная система, и есть истины о человеке, которые нельзя найти никаким методом, работая внутри какой-либо системы. f, будучи алгоритмом, должен работать внутри одной такой системы. Следовательно, f не может существовать!

В: Когда вы говорите, что f должен «удерживать» человека, похоже, вы имеете в виду, что f должен иметь человека неизменным. Что, если компьютер имеет серию изображений человека с течением времени?

В этом случае человек h1 будет представлен в виде некоторой серии за t временных шагов: [h11, h12 , h13,…, h1t]. Но в этом случае компьютер по-прежнему имеет «неизменное» представление о человеке: информация, составляющая всю серию, не меняется.

В: А как насчет суперкомпьютера, который намного быстрее человека и может предсказать каждое его движение?

Отличный вопрос: скорость прогнозирования здесь играет важную роль. Фактически, вы правы: например, суперкомпьютер, играющий в шахматы, намного быстрее человека и может смотреть на несколько шагов вперед, чем любой человек. Сегодня ни у одного человека почти нет надежды на победу над суперкомпьютером в шахматах. Но это потому, что человек играет внутри системы. Человек может «выйти из системы», подойти и отключить компьютер.

В: Что, если компьютер настолько мощный, что знает, как от этого защититься?

Тогда компьютер может убить человека, но это не значит, что компьютер победит. Человек еще может «выйти из системы» - он может умереть! Кроме того, мы уходим от первоначального аргумента. Аргумент заключался не в этом: компьютеры никогда и ни в чем не могут победить людей. Они явно могут! Аргумент был даже не в этом: компьютеры могут побеждать людей в некоторых областях, но не во всех. Когда-нибудь они могут это сделать. Аргумент, скорее, заключался в следующем: если кто-то привержен идее, что люди могут «выпрыгнуть из системы», то нельзя избежать вывода, что некоторая f, которая принимает в качестве входных данных человека и выводит осмысленное рациональное число не может существовать. Под осмысленным я имею в виду, что функция фиксирует что-то нетривиальное в человеке. Это предложение необходимо, потому что очень легко спроектировать функцию f, которая принимает в качестве входных данных человека и выводит бессмысленное натуральное число: скажем, возьмите первый символ этого человека имя и выведите число, которое больше всего похоже на этот символ. Под осмысленным я имею в виду, точнее, функция f должна учитывать не только синтаксис, но и семантику человека; он должен учитывать выход человека. И это невозможно для f, потому что человек может «выпрыгнуть из системы» и выдать результат, который f никогда не сможет предсказать.

[1] https://arstechnica.com/information-technology/2016/02/the-nsas-skynet-program-may-be-killing-thousands-of-innocent-people/