В какой-то момент истории много думали, чтобы получить уравнение:

R*T = P*V/n

Уравнение идеального газа, которое мы изучаем в детском саду, использует магическое число R для предсказания того, как n молей «идеального газа» изменятся в давлении, объеме или температуре при условии, что мы можем контролировать два из этих факторов.

Этот закон аппроксимирует поведение многих газов с небольшой погрешностью и, безусловно, был полезен для многих средневековых трюков с мыльным вулканом и викторианских конструкций паровых двигателей.

Но, как это часто бывает в науке, парень по имени Ван дер Ваальс решил испортить всем веселье в конце 19-го века, сосредоточившись на куче пограничных случаев, когда уравнение идеального газа было полной чушью применительно к любому реальному газу.

Затем он приступил к сбору множества точек данных для поведения различных газов и придумал два других магических числа, чтобы добавить к уравнению, a и b, индивидуально определенные для каждого из газов, которые можно использовать в уравнении:

RT = (P + a*n^2/V^2)(V – n*b)/n

В очередной раз мир мог спокойно отдыхать, получив новое уравнение, которое лучше приближается к реальности.

Но очевидно, что этого уравнения недостаточно; на самом деле этого было недостаточно во времена Ван-дер-Ваальса, когда люди, работавшие над «реальными» проблемами, имели свои собственные, более конкретные уравнения.

Но дело в том, что люди собирают данные и строят уравнения поведения газов, и чем менее они подвержены ошибкам, тем более нишевыми и сложными для построения (читай: требуют больше данных и более сложный математический аппарат) они становятся.

Но давайте предположим, что Ван-дер-Ваальс (или любой другой создатель уравнений) собирает все данные, которые, как он надеется, будут хорошо охватывать стандартное поведение и пограничные случаи… и передает их в нейронную сеть (или любой другой объект, который является хорошим универсальный оценщик функций) и получает функцию W.

Эта функция W так же хороша, если не лучше, чем оригинальное уравнение, созданное человеческим мозгом, для предсказания поведения газов и сопоставления собранных данных.

То, как эта функция будет работать, если предположить, что она построена с использованием нейронной сети, будет примерно такой:

W(V,T,n,gas) => P

Или, может быть, другая функция:

W(P,V,n,gas) => T

Мы избавились от R, a и b и заменили их простой категориальной переменной gas (название моделируемого газа). Сеть, пометив каждый набор наблюдений соответствующим газом, из которого они получены, изучает, как ведет себя этот газ, и встраивает свой собственный эквивалент магического числа R, b и a в его веса и смещения.

Во-первых, это нанесло бы ущерб нашей системе образования: люди больше не могли бы знать уравнение Ван-дер-Ваальса и решать его на доске для данных a, b и R. Если бы мы сделали это для всех «законов» физики люди могут даже начать задаваться вопросом, почему они должны изучать эту глупую «математическую» хитрость, поскольку все, что они делают, — это ввод переменных в компьютер.

Но на более суровой ноте можно утверждать, что такой подход задушит прогресс науки. Поскольку, в конце концов, можно посмотреть на уравнение Ван-дер-Ваальса и сделать два вывода:

а) Как вы могли бы придумать лучшее уравнение.

б) Какие данные необходимо собрать, чтобы это уравнение было релевантным, исходя из мест, где уравнение Ван-дер-Ваальса, по-видимому, дает результаты, которые «выглядят странными» или противоречат экспериментальным данным.

Можем ли мы передать роль людей в науке сборщикам данных?

Люди — отличная платформа для взаимодействия с окружающей их физической реальностью; у нас были миллиарды лет, чтобы оптимизировать нас, чтобы делать такие вещи, как хватать, выливать, рубить, разбивать и перемещаться в непостижимо большом диапазоне сред. Я бы никогда не осмелился спорить с этим, и я думаю, что люди, создающие роботов-гуманоидов, в основном сталкиваются с почти невыполнимой задачей (хотя я часто поражаюсь их достижениям).

Я бы сказал, что люди могут быть не так хороши в математике. Если и существовало какое-либо эволюционное давление на математику, то оно появилось совсем недавно в нашем развитии. Люди, которые могут интуитивно выполнять движения, о которых современные роботы и мечтать не могли, терпят неудачу в самых элементарных математических задачах, которые крошечный компьютер в моем холодильнике счел бы смехотворно простыми.

Тем не менее, по какой-то причине люди непреклонны в построении математических моделей для объяснения данных, которые они наблюдают в природе.

Но в настоящее время почти нет примеров задачи, которая требует чисел в качестве входных данных и имеет числа в качестве выходных данных, где десятки лет работы человеческого мозга могут соответствовать моделям машинного обучения.

Если мы посмотрим на что-то вроде сворачивания белка: горячая тема в настоящее время заключается не в том, могут ли модели машинного обучения превзойти тщательно разработанные алгоритмы, основанные на «специфичной для предметной области» человеческой логике; это то, как мало данных им нужно и как быстро они могут это сделать.

Основываясь на моих чтениях, есть достаточно доказательств того, что ответ на оба вопроса — очень мало (например, https://www.nature.com/articles/d41586-019-01357-6).

Однако основная проблема в большинстве областей заключается в том, что прямое сравнение моделей, созданных человеком, с моделями машинного обучения невозможно. Поскольку путь развития науки заключается не в тщательном сборе и ХРАНЕНИИ данных, а в сборе данных, создании искусственных моделей, которые объясняют данные, называя почти совершенные модели фактами, а затем забывая о реальных данных.

Я не могу не подчеркнуть, насколько важен этот момент, вспомните любой курс физики, химии или биологии, который вы посещали, и то, что обсуждалось. Где вы вообще показывали данные, на основании которых мы строим картину лежащей в основе реальности? Или когда вы в основном сосредотачиваетесь на уравнениях и предполагаете, что эти уравнения эквивалентны просмотру необработанных данных.

Это приводит меня к вышеуказанным пунктам а) и б). А именно тот факт, что созданные человеком модели лучше, потому что другие люди могут посмотреть на них и понять, где они неверны, и какие данные нужно собрать, чтобы создать лучшие модели.

Я соглашусь, что это часто верно, но это правда, потому что у нас ошибочная эпистемологическая точка зрения. Чтобы модель машинного обучения была лучше, чем теоретик струн, она должна была бы понять теорию струн, а затем сделать какое-то «открытие» (читай: математическую модель), которое согласуется с экспериментами, ранее не объясняемыми теорией струн.

Однако само по себе это мышление отсутствует, потому что человеческие модели несовершенны, а данные, на которых они построены, часто труднодоступны, если вообще доступны.

Даже когда базовые данные доступны, они обычно доступны, пройдя через несколько уровней ошибочной человеческой абстракции.

Результаты экспериментов интерпретируются и сохраняются с использованием абстракций высокого уровня, созданных человеком.

Например, мы можем сохранить результаты эксперимента двумя разными способами:

  • 1. С помощью {источника энергии}, нацеленного на {время} на {материал 1}, мы запустили из него частицы в {материал 2}, наблюдали (с помощью электронного микроскопа) влияние на кристаллическую решетку на x образцах {материала 2}, вот эти изображения.
  • 2. Мы столкнули {материал 2} с {y} электронами по {параметрам, описывающим энергию/импульс электронов}, и заметили, что его решетка переключилась с {абстракция 1, описывающая кристаллическую решетку}, на {абстракция 2, описывающая кристаллическую решетку}.

Что-то вроде варианта 2, вероятно, лучше, если физик просматривает данные, но, возможно, интерпретация «более низкого уровня», такая как 1, лучше подходит для автоматизированного алгоритма интерпретации данных.

Это не значит, что абстракция 2 по своей сути хуже абстракции 1, на самом деле, если вы пойдете по деконструктивистскому пути и разрушите абстракции, используемые для понимания мира, настолько глубоко, насколько сможете… вы окажетесь в никуда, вы окажетесь в философской бесполезны споры с Кантом и Юмом о том, можем ли мы что-либо истинно утверждать или знать.

Я согласен с тем, что любая абстракция, которую можно разработать, будет в некотором смысле ошибочной, но недостатки, которые мы вкладываем в наши абстракции, специально созданы людьми для людей. Я думаю, вполне правдоподобно сказать, что если бы мы вместо этого разрабатывали абстракции с учетом автоматизированных алгоритмов в качестве их пользователей (или позволяли упомянутым алгоритмам разрабатывать их), мы могли бы получить довольно разные абстракции.

Если все, что вам нужно, — это ошибочные модели, а не необработанные данные, то человек вполне может добиться большего успеха в создании чуть менее ошибочных моделей не потому, что люди лучше создают модели, а потому, что люди понимают «контекст», в котором эти модели где создано.

В тех немногих случаях, когда легко работать с данными, доступными для ввода в модель, как в случае с прогнозированием сворачивания по структуре пептида, модели часто работают лучше. Но даже в этих случаях я бы сказал, что мы ставим модели в невыгодное положение, потому что они могут работать только с теми данными, которые мы им предоставляем; они не могут просить нас предоставить другие данные, они не могут создавать свои собственные абстракции и запрашивать интерпретацию данных с использованием этих абстракций.

Наш процесс сбора данных сам по себе несовершенен с точки зрения машинного обучения, потому что мы не разрабатываем наши модели таким образом, чтобы понять, какой тип данных им потребуется, чтобы делать более точные прогнозы.

Я думаю, что этот недостаток происходит с двух сторон.

Во-первых, концепция моделей ML, делающих выводы о типе данных, которые им нужны, сильно недоработана. В прошлом году часть моей работы заключалась в том, чтобы заняться именно этой проблемой моделей, которые анализируют модели/саму себя, и, признаюсь, я был несколько удивлен отсутствием исследований по этой теме даже на фундаментальном уровне (например, заставить нейронные сети давать достоверность прогноза или определение важности признака). Ближе всего к серьезным исследователям, занимающимся этой проблемой, можно подобраться с помощью обучения с подкреплением, но неясно, будут ли эти подходы хорошо работать в реальном мире, где стоимость исследования очень высока… гораздо дешевле для модели играть миллионы Игры DOTA2 должны стать лучше в DOTA2, чем для модели, диктующей миллионы экспериментов с адронным коллайдером, чтобы улучшить физику.

Во-вторых, мы не хотим менять наш подход к науке на более ориентированный на данные. Я думаю, что идея моделей машинного обучения, диктующих ученым, какие данные они должны собирать, надуманная, но я думаю, что частично она надуманная, потому что мы интуитивно знаем, что ни один ученый не захочет быть сведенным к простому сборщик данных.

Это аргумент в кошки-мышки: «не создаются модели, способные определить, какие данные им нужны, потому что люди не хотят заниматься сбором данных» и «люди не хотят заниматься сбором данных на основе моделей, потому что моделей не существует». которые хорошо понимают, какие данные им нужны».

Более простым требованием было бы правильно индексировать и хранить все данные, которые ведут к модели, созданной человеком, и должным образом индексировать и хранить все данные, которые ведут к моделям, которые ведут к моделям, на основе которых разработана модель, созданная человеком, и скоро. Но даже это слишком много, потому что часто старые данные теряются, не оцифровываются и сжимаются с потерями. Результаты эксперимента могли быть где-то записаны, но подробности о том, как проводился эксперимент, утеряны или даже никогда не записывались, потому что они были слишком сложными для того, чтобы их могла учесть созданная человеком модель.

Однако то, что было бы легко сделать, — это добросовестно поиграть с моделями машинного обучения и сделать все возможное, чтобы хотя бы хранить и правильно индексировать все данные текущих экспериментов и наблюдений.

Но, может быть, здесь я несправедлив к физике; в конце концов, я плохо понимаю современную физику, насколько мне известно, физики-экспериментаторы на самом деле делают все возможное в современном мире, чтобы хранить данные своих экспериментов, а хранение всех данных физических экспериментов на самом деле является сложной задачей; с момента создания CERN он произвел буквально эксабайты данных.

Вместо этого позвольте мне остановиться на области, которую гораздо легче критиковать: медицинские исследования.

Мы активно мешаем алгоритмам машинного обучения конкурировать с нами?

Если вы углубитесь в такие темы, как обнаружение рака, я иногда чувствую, что то, что сейчас происходит, — это в основном шарада, чтобы оправдать использование оценок, основанных на людях, а не алгоритмических оценок.

Крайне мало испытаний обнаружения на человеке и на основе алгоритмов, а также несколько обзоров, в которых проводится сравнительный анализ проблемы. Я буду использовать этот: https://www.sciencedirect.com/science/article/pii/S2589750019301232 в качестве ссылки, и я рекомендую вам просмотреть его, я считаю, что в целом он довольно хорош.

При усреднении по исследованиям объединенная чувствительность составила 88,6 % (95 % ДИ 85,7–90,9) для всех алгоритмов глубокого обучения и 79,4 % (74,9–83,2) для всех алгоритмов здравоохранения. -специалисты по уходу. Суммарная специфичность составила 93,9 % (92,2–95,3) для алгоритмов глубокого обучения и 88,1 % (82,8–91,9) для медицинских работников.

Здесь рассматривается совокупный результат по многим диагностируемым состояниям. Насколько я понимаю, врачи и модели даже не всегда используют один и тот же набор данных для тестирования.

Тем не менее, я думаю, что результаты кажутся в основном очень многообещающими, особенно если учесть только алгоритмы машинного обучения с самой высокой специфичностью и чувствительностью, особенно если учесть, что они будут стоить нам несколько центов и час работы, тогда как врачи обходятся нам где-то от 10 до 300$ в час. Особенно, если учесть, что это может быть развернуто в районах, где нет доступа к врачам-специалистам.

Только четыре исследования предоставили специалистам в области здравоохранения дополнительную клиническую информацию, которую они могли бы получить в клинической практике; в одном исследовании также проверялся сценарий, в котором предшествующая или предыдущая визуализация предоставлялась алгоритму и медицинскому работнику, а в четырех исследованиях также рассматривалась диагностическая эффективность в сценарии «алгоритм плюс врач». Стоит отметить, что ни в одном исследовании не сообщалось о формальном расчете размера выборки, чтобы гарантировать, что исследование было достаточным для прямого сравнения.

Интересно, почему так мало исследований предоставило прямое сравнение с врачами, учитывая, что большинство исследователей, которых я знаю, с удовольствием проверяют свои модели на некоторых реальных ориентирах, я думаю, что вполне разумно предположить что-то вроде: «Ни одна группа онкологов / Рентгенологи вкладывают значительные средства в проведение испытаний самих себя по сравнению с наиболее известными моделями машинного обучения, которые могли бы заменить их работу».

Более того, глядя на обзор различных моделей отдельных моделей (например, https://www.sciencedirect.com/science/article/pii/S2001037014000464), можно очень легко увидеть, что количество данных, которые они используют, смехотворно, часто всего несколько десятков примеров.

Учтите тот факт, что в США ежегодно проводится 37 миллионов маммографий. У нас было по крайней мере 5 лет с тех пор, как идея о том, что CNN может обнаруживать рак по медицинским изображениям, имела прочную основу. Предполагая, что всего лишь 20% этих маммограмм имели последующее наблюдение в течение 1–5 лет, это должен быть набор данных из не менее 37 миллионов примеров изображений, связанных с диагнозом рака молочной железы. Действительно, если мы распространим это на все страны, достаточно богатые, чтобы производить значительные объемы таких данных, это число должно исчисляться сотнями миллионов.

Тем не менее самый большой заявленный набор данных (из этой статьи: https://arxiv.org/pdf/1903.08297v1.pdf). Содержит всего 1,2 миллиона изображений и является собственностью. Единственная модель, которая была опробована на этом наборе данных, претендует на то, чтобы работать не хуже рентгенолога. Но представьте, если бы у нас не было всего 1,2 миллиона изображений, представьте, если бы у нас было более 100 миллионов изображений, если бы у нас не было ни одной модели, представьте, если бы у нас их были сотни, если бы у нас не было одной команды, а над этой проблемой работают сотни команд.

Мне это кажется чем-то, что имеет такой большой потенциал, что ужасно, что мы этого не делаем. В конце концов, конечный результат сэкономит миллиарды долларов налогоплательщиков с точки зрения заработной платы и последующих процедур, предотвратит печальный конец бесчисленного количества жизней (часто у относительно молодых людей, поскольку рак молочной железы часто встречается у молодых людей по сравнению с другими видами рака) и поможет с ранним обнаружением, возможно предотвращая психически и физически пугающие процедуры, такие как мастэктомия и длительная агрессивная химиотерапия.

Итак, еще раз, мой вопрос:

  • Почему ближайшая больница не проводит испытания этого алгоритма?
  • Почему не все данные для решения этой проблемы находятся в открытом доступе?
  • Почему никто не говорит о том, что эти вещи не происходят?

В заключении

Я не утверждаю, что какая-то злая организация ученых или врачей активно замышляет против моделей машинного обучения, которые могут их заменить.

Большинство ученых и врачей — приятные люди, которые хотят, чтобы прогресс в их областях продолжался, даже если это означает, что им, возможно, придется работать над меньшим количеством вещей, которые они считают «забавными».

Проблема системная: плохое регулирование не позволяет общественности получить доступ к полезным данным; плохое распределение средств и плохая координация означают, что мы не получаем централизованных хранилищ данных, которые должны были бы иметь. Плохая практика означает, что ученых и врачей активно отговаривают от использования подхода, основанного на данных, когда их основная роль заключается в точном производстве, маркировке и хранении данных… использовать базу данных для диагностики риска ТГВ?

Но я думаю, что есть очень веская причина интуитивно предположить, что задача построения моделей мира, особенно математических моделей, могла бы быть решена лучше, если бы мы больше сосредоточились на модели машинного обучения, а не на мозге; что блестящие ученые, придумывающие сложные уравнения для объяснения экспериментов, часто могут быть плохим подходом к созданию моделей машинного обучения, которые учатся подгонять хорошо собранные данные. То, что врачи ищут аномалии в изображениях, для восприятия которых их мозг не предназначен, может быть хуже, чем классификатор CNN, разработанный и обученный для обнаружения этой конкретной аномалии.

Я также думаю, что наше врожденное предубеждение в пользу моделей, созданных человеком, а не моделей, созданных машинами, диктует большую часть сбора данных, который мы делаем. В свою очередь, его предвзятость диктует, какие модели машинного обучения мы строим, или, скорее, делает нас незаинтересованными в создании более хорошо интегрированных моделей, которые занимаются не только прогнозированием данных, которые мы им предоставили, но также и видом. данных, которые мы должны собирать, чтобы улучшить их.

Чем раньше мы усвоим большую вероятность того, что у нас уже есть инструменты, намного лучшие, чем наш мозг, для создания математической модели из данных, тем раньше мы начнем видеть ценность данных над моделями, и тем раньше мы начнем видеть ценность правильно сформулировать проблему, а не просто построить модель, которая решает плохо сконструированную проблему.

Наконец, у меня не обязательно есть решение для этого, и я не утверждаю, что то, что я говорю в этой статье, «очевидно верно». Думаю, я принял точку зрения, что «машинное обучение всегда лучше, чем люди, подбирает уравнения на данных» частично как данность; конечно, я привел два примера того, что это, казалось бы, имеет место, но я не ожидаю, что здесь вы значительно сдвинете свою точку зрения в сторону моей точки зрения.

Что я надеюсь сделать, так это дать немного больше контекста идее о том, что люди могут быть «слишком сосредоточены» на построении абстракций и уравнений, в отличие от построения моделей, которые будут строить эти абстракции и уравнения для нас. Вероятно, мне следовало бы добавить больше примеров и больше предостережений, но я не надеюсь диктовать глобальную научную политику с помощью этого блога, я просто надеюсь предложить интересные точки зрения для размышления. Я не уверен в этой точке зрения, это одна гипотеза, играющая в моей голове, которую я нашел интересной и постарался поделиться ею.

Если вам понравилась эта статья, вы можете прочитать больше моих бредней в моем собственном блоге: https://blog.cerebralab.com.