Это знакомая проблема для благонамеренного гражданина. Это время выборов, вы провели последние пару месяцев, отталкивая свою сумасшедшую семью своими тщательно продуманными политическими аргументами, забрасывая своих ближайших друзей эмоциональными сообщениями в социальных сетях, часами читая и просматривая «информацию», собранную самозваными умные люди, может быть, даже пострадали от нескольких дебатов кандидатов. Но когда дело доходит до того, что в кабинке для голосования остаетесь только вы, в глубине души вы понимаете, что у вас недостаточно информации, чтобы сделать правильный выбор. У вас недостаточно глубоких познаний в экономике, чтобы рассчитать, как та или иная политика повлияет на ваше процветание, у вас нет достаточного опыта в области международных отношений или теории игр, чтобы точно предсказать, как другие страны могут отреагировать на данное избрание. официальный. Прошли годы с тех пор, как вы в последний раз читали текст по философии или праву, и этого определенно недостаточно, чтобы дать вам прочную основу для взвешивания всех этических соображений обещаний кандидатов. И, наконец, у вас нет хорошего способа постоянно проверять, какой кандидат в основном имеет хорошие намерения, а какой кандидат является лживым мешком с камнями. Ну, у этого парня красивые волосы, или ее улыбка менее жуткая, и он входит в вашу политическую команду, так что вы делаете выбор. Вы уходите с избирательного участка, задаваясь вопросом, действительно ли это лучший способ? Вы утешаете себя цитатой, которую постоянно повторяет тот телевизионный эксперт: «Демократия — наихудшая форма правления, за исключением всех других форм, которые были опробованы». Конечно, на самом деле он имеет в виду, что таким людям, как вы, нельзя доверять голосование, и, возможно, он прав.

Но даже если бы вы потратили всю свою жизнь на изучение этих вещей, читая, изучая, отслеживая и преследуя кандидатов в их личной жизни, и всегда могли бы сделать мудрый выбор, ваш голос был бы всего лишь одним из миллионов, утонувшим в море голосов. Голоса, сделанные людьми, которые не проводили все эти исследования, вместо этого занимались другими вещами, такими как работа, общение с семьей или развлечения. Так что разумнее всего не проводить это исследование, не прилагать усилий, потому что это все равно не имеет значения. Эта концепция известна экономистам как «рациональное невежество». Демократия — это система, в которой люди, ведущие шоу, поощряются к тому, чтобы не знать о том шоу, которое они устраивают. Может быть, это худшая форма правления в конце концов. Но это неправда, демократия работает, это вообще хорошо. Так, что происходит?

Я думаю, что область машинного обучения может пролить свет на эту тему, но не в обычном смысле. Инструменты машинного обучения часто можно рассматривать как черные ящики, которые потребляют большие объемы данных и возвращают мощные и точные прогнозы, как правило, обменивая ясность и понимание на прогностическую силу. В этом случае я думаю, что открытие черного ящика и изучение концепций, используемых алгоритмами, может пролить свет на эту тему и в идеале сделать нас более ценными как избирателей и как граждан представительного правительства.

В 1980-х группа исследователей машинного обучения задалась вопросом: «Можно ли объединить набор слабых моделей, чтобы создать сильную модель?» Другими словами, можете ли вы взять кучу математических моделей, которые не так хороши в прогнозировании, и скомпилировать их вместе, чтобы создать хорошую прогнозирующую модель? В 1990 году Роберт Шапир опубликовал статью, в которой доказал, что можно создать ансамблевую модель, которая может достигать произвольной точности, просто комбинируя все больше и больше «тупых» моделей. Этот результат превратился в крупную область машинного обучения и искусственного интеллекта.

Многие из современных современных моделей машинного обучения работают таким образом, объединяя множество простых моделей в ансамблевую модель. Ансамблевые модели теперь используются во всех сферах: от рекомендаций фильмов до прогнозов погоды, выявления банковских мошенничеств и многих других.

Идея о том, что усреднение большого количества зашумленных прогнозов для получения хорошего прогноза, не является совершенно новой идеей. Закон больших чисел — это еще более простая версия этого закона. Этот математический закон гласит, что чем больше количество выборок или экспериментов, которые усредняются вместе, тем ближе среднее значение выборки будет к истинному среднему. Например, если вы подбросите правильную монету 10 раз, соотношение орла и решки может легко варьироваться от 0,2 до 0,8. Но если вы подбросите монету миллион раз, соотношение, которое вы получите, вероятно, будет между 0,499 и 0,501.

Эта концепция слабых моделей, объединяющихся в единую сильную модель, пересекается с демократией в идее «мудрости толпы». Каждый из нас может знать только небольшую часть информации, и все мы слабые ученики, которые не так хороши в прогнозировании или понимании сложных ситуаций. У каждого из нас недостаточно данных, чтобы составить полную картину, но объединение всего нашего опыта и знаний могло бы позволить очень точно понять мир. Эта концепция является основной причиной, по которой демократия является такой хорошей идеей. Это не единственная причина, по которой демократии — хорошая идея, они также важны для баланса власти, представительства и свободы.

Можно задаться вопросом, можно ли объединить группу неспециалистов, чтобы создать эксперта. Что, если появится техническая угроза, новая эпидемия, глобальное изменение погоды, появление прорывной технологии? Может ли группа неспециалистов стать достаточно разнообразной, чтобы стать передовым техническим экспертом? Возможно нет. И именно поэтому энтузиасты-защитники науки часто говорят что-то вроде «доверяйте экспертам» или «просто слушайте экспертов». Но это тоже неправильно, наивно основанное на непонимании математики, науки и реальности. В науке есть две ключевые части: предсказание и предсказание уровня неопределенности. Мы, ученые, очень плохо оцениваем и представляем неопределенность, а наука выступает еще хуже. Как правило, им вообще пренебрегают, а если и включают, то сильно недооценивают. Но даже с идеальной наукой и точно рассчитанными уровнями неопределенности самый умный ученый или самый искусный экономист все равно не может принять необходимые для страны решения, потому что все решения предполагают компромиссы. Каждое действие имеет свои издержки и компромиссы, которые необходимо взвешивать вместе с прогнозируемой выгодой действия.

Существует правильный и строгий способ принятия решений в этом сценарии, и способ сделать это состоит в свертывании оценок неопределенности с компромиссами. Другими словами, математически правильный ответ находится путем умножения в каждой точке прогнозов экспертов и сопутствующих оценок неопределенности с прогнозируемыми воздействиями и сопутствующими оценками неопределенности действий, которые также умножаются на компромиссы каждого действия, а затем усредняются по множеству. возможных действий. Это звучит довольно сложно и теоретически, но на самом деле это может происходить автоматически в репрезентативной системе. Часть усреднения и часть компромиссов вышеприведенного алгоритма автоматически рассчитывается ансамблем граждан. Эта концепция использования выборки для вычисления этих типов сверток была изобретена учеными, работающими над Манхэттенским проектом, и называется интеграцией Монте-Карло и является очень важным инструментом в вычислительной науке. Чтобы это работало, от экспертов требуется точная оценка уровней неопределенности, а также достаточное исследование пространства возможных действий. Учитывая это, ансамблевая модель всех нас должна быть оснащена для предоставления оптимальных ответов. Вместо того, чтобы читать лекции публике, возможно, для защитников науки и журналистов было бы более ценным поощрять экспертов предоставлять больше этих важных ингредиентов.

С этой более строгой основой демократия, возможно, в конце концов является лучшей формой правления, блестящей системой, предназначенной для компиляции всех возможных знаний в высокоточную и оптимальную машину для принятия решений. Опять же, это не совсем соответствует тому, что мы видим в реальности. Вместо оптимальных результатов мы получаем эмоциональный выбор, дикие колебания, поведение овец или даже просто странные решения. Стандартная процедура в этот момент — поднять руки и сказать что-то вроде «люди такие тупые!» Или, что более вероятно, «о, мои политические оппоненты такие тупые». Но мы только что увидели, что это не может быть проблемой, система спроектирована так, чтобы справляться с нашими неоптимальными индивидуальными способностями и при этом обеспечивать оптимальное решение. Проблема в том, что мы взаимосвязаны.

Существует важная оговорка относительно концепции, что большое количество простых «тупых» моделей может быть усреднено в оптимальную модель. Это ключевой момент, который следует усвоить из машинного обучения. Предупреждение заключается в том, что отдельные модели нельзя соотносить друг с другом. У корреляции есть точный математический термин, но я имею в виду нечто более общее, в основном склонность двигаться вместе и думать одинаково. Чтобы привнести ценность в режим ансамбля, каждая простая модель должна рассматривать разные фрагменты данных и изучать что-то немного другое. Если каждая подмодель дает такой же прогноз, как и все остальные, то модель ансамбля фактически является простой моделью. Корреляция между моделями разрушает гарантии производительности ансамблевых моделей.

Это также делает недействительным закон больших чисел. Если ваши эксперименты, образцы или измерения коррелированы, больше нет гарантии, что среднее значение будет приближаться к правильному ответу, независимо от того, сколько у вас есть образцов или измерений.

В качестве игрового примера представьте несколько точек (или простых моделей) на плоской плоскости, на которой есть замкнутая форма. Теперь каждая точка или «модель» знает только одно, находится ли она внутри или снаружи формы. Каждая точка не знает, каков размер фигуры, где она находится в центре или как эта фигура выглядит на самом деле. Но если точек достаточно, и каждая из них сообщает то, что ей известно, их совокупность дает довольно приличную картину лежащей в основе формы (в данном случае круга). Пример этого показан на панели а) на рисунке ниже. На самом деле это простой пример интеграции методом Монте-Карло. Теперь, если мы немного изменим пример, где каждая точка консультируется с двумя другими точками, т. е. сопоставляет свой вид с другими точками, прежде чем решить, находится ли она внутри фигуры, объединение этих точек больше не сходится к правильному ответу. Как вы можете видеть на панели b), основная форма больше не видна. Таким образом, эффект того, что точки сопоставляют свою информацию перед принятием решения, уничтожает их полезность. На последней панели показан другой вид корреляции. Вместо того, чтобы сопоставлять их результаты, сопоставляются пространственные положения точки, и снова фактическая форма не очевидна.

Наука, к лучшему или к худшему, работает подобно демократии, где истина решается на основе консенсуса. Поэтому, когда ученые коррелируют друг с другом, это снижает точность текущей оценки истины. Примером этого является явление, называемое Вузл, названное в честь истории о Винни-Пухе, где он отслеживает свои собственные шаги вокруг и вокруг дерева, выслеживая Вузла. Точно так же ученые часто выстраиваются друг за другом, пытаясь сопоставить свои результаты с предыдущей работой. Еще один хороший пример корреляции можно найти в Описании Фейнмана об измерениях массы электрона. Я действительно видел Woozle в дикой природе, когда учился в аспирантуре.

Какой выход из этой идеи? Что ж, если мы хотим получить полный эффект «мудрости толпы» и получить доступ к силе демократии, нам не нужно, чтобы люди обязательно были умнее или более информированными, нам просто нужно, чтобы люди были декоррелированы. Одна из лучших вещей, которые вы делаете как гражданин с правом голоса, — это декорреляция. Теперь это не значит просто думать противоположное всем, это отрицательная корреляция и в основном имеет тот же эффект. Если вы противоречите, вы не добавляете информацию в смесь.

Многочисленные благонамеренные попытки быть хорошим гражданином, попытки стать более «осведомленным избирателем» на самом деле могут нанести ущерб демократии. Слушаете ли вы разговорное радио AM, подкасты NPR или любого эксперта, предоставляющего анализ, вы позволяете своей внутренней модели принятия решений коррелировать и резко снижаете свою ценность в ансамбле принятия решений. Если мы все читаем одни и те же авторские статьи, то все степени свободы сводятся к нескольким степеням свободы, что приводит к неоптимальным результатам. Если вы вешаете дворовые вывески, пытаясь убедить соседа в политической точке зрения, вы снижаете и свою ценность, и его ценность в ансамбле. Наибольшая ценность, которую вы можете предоставить, — это следовать только тому, что вы лично знаете, как истинное. В этом контексте хорошо быть предвзятым лично, нет необходимости быть полностью правым в каждой ситуации, совокупность миллионов избирателей усреднит это желаемым образом. Чем более сырой вы получите информацию, тем лучше. Прямо из уст кандидатов в контексте, смешанном с их историческим поведением, максимально нефильтрованным. Каждый имеет право на собственное мнение, а не на чужое.

Это еще одна причина, по которой трайбализм, т. е. «красная команда против синей команды», «внутри группы» против «чужой» и т. д., не идеален. Если вы всегда голосуете со своей командой независимо от проблемы и против другой команды, то вы не добавляете никакой информации или точности к ситуации. Так зачем вообще голосовать, кроме как помочь своей команде победить. Хотя побеждать всегда весело, это определенно лучше, чем проигрыш.

Коллегия выборщиков для президентских выборов на самом деле представляет собой хитроумно изощренный метод декорреляции. Похоже, что географическая близость вызывает корреляцию среди избирателей, поэтому добавление ограничивающего порога (51% в вашем регионе имеет тот же вес, что и 100%) может ограничить влияние корреляции на результаты. Это приводит к интересному математическому результату: если бы единственной заботой была производительность ансамбля, в районах с высокой плотностью могло бы потребоваться меньше представителей на человека из-за высокой корреляции. Конечно, это несостоятельно по другим причинам.

Я действительно думаю, что эта концепция декоррелированного голосования решает некоторые основные проблемы демократии, такие как рациональное невежество. Но, увы, это, скорее всего, просто замена одной сложной проблемы еще более сложной проблемой. Корреляции возникают естественным образом; из общего опыта, из школ, телешоу, друзей и семьи и т. д. Не существует очевидного способа устранить эти источники корреляций. Социальные сети также являются важным источником корреляции, а контент подобран так, чтобы быть более коррелирующим. Если вам нужна еще одна причина избегать социальных сетей, ее можно добавить в список.

Тем не менее, эта концепция все еще может быть полезной, вы можете освободить себя от утомительных политических споров с друзьями и семьей, в которых вы, вероятно, не были достаточно начитаны, чтобы победить. Больше нет необходимости не ложиться спать поздно ночью, поправляя людей в Интернете. Не нужно равняться на сомнительных кандидатов или читать полусырые мнения журналистов. Самое ценное, что вы можете внести в ансамбль голосования, — это ваши некоррелированные мнения, основанные на вашем личном опыте.