В следующий раз, когда вы будете смотреть, как взлетает самолет, обратите внимание, как быстро поднимается шасси. В кабине это небольшой рычаг с белым рычагом, который очень легко обнаружить - на нем буквально есть небольшое акриловое колесо, так что даже в темноте и на ощупь вы не можете спутать его с другими элементами управления. Кстати, такое тоже бывает, но не очень часто (любители).

Пилоты довольно быстро дотягиваются до ручки шасси, чтобы убрать шасси после взлета по двум причинам.

Во-первых, это выглядит круто - никогда не стоит недооценивать мотивацию пилотов к максимальному тщеславию своих 5-летних детей. Серьезно, это «вещь». Если вам когда-нибудь представится возможность посидеть в кабине во время взлета, спросите у командира, позволят ли они вам это сделать, чтобы вы смогли разделить крутую головокружительную атмосферу этой мирской, но важной задачи.

Во-вторых, это необходимо для полета. Самолеты должны превратиться в громоздкие трехколесные машины в изящные летательные аппараты, а для этого требуется скорость. Получается неудобно, и торчащие вещи, такие как шасси, создают большое сопротивление.

Вот о чем я думаю, когда слышу одни и те же утомительные аргументы, которые неизменно сдерживают прогресс в области искусственного интеллекта и здравоохранения. Ограничение, кажется, никогда не связано с преимуществами самой технологии, а в основном с уровнем холостого страха по поводу того, как она работает и что может пойти не так. Этот страх кажется особенно сосредоточенным вокруг области, которая, на мой взгляд, необоснованна, а именно идеи черного ящика ИИ. Здесь вы заметите авиационную тематику ... Иногда вы можете увидеть это сокращенно #aix - хэштег, который на экране выглядит гораздо зловеще, чем концепция, которую он представляет. Несмотря на ежедневные достижения в том, как ИИ может улучшить диагностику, цифровые помощники, лучшее обнаружение рака, открытие новых лекарств и методы лечения, этот страх выглядит как застрявшее шасси: сдерживание инноваций от превращения лабораторных или пробных достижений ИИ в реальные клиническая практика.

Интересно, что термин «черный ящик» относится к чему-то совершенно другому, чем его нынешнее использование.

Черный ящик (заглавная буква B) - старый - это британское изобретение, которое первоначально относилось к версиям времен Второй мировой войны того, что мы сейчас называем регистраторами полетных данных. Вы видели это раньше. Это ярко окрашенные оранжевые поля, содержащие пленочные, звуковые и телеметрические данные полета, обычно за последние 30 минут перед авиационным происшествием. Они оранжевого цвета, чтобы обеспечить хорошую видимость, поэтому следователи могут найти их среди обломков самолетов, которые используют данные, чтобы собрать воедино досадные детали. Эти данные могут быть использованы для преследования, обучения и поклонения героям, как в случае принудительной водной высадки Салли на Гудзон. Не нужно далеко искать на YouTube, чтобы найти анализ сбоев с использованием этих данных. Мне больше всего нравится Mentour Pilot.

В ранних версиях этих магнитофонов была старая целлулоидная пленка (дети, спросите своих родителей об этом…). В результате коробку пришлось запечатать, чтобы предотвратить проникновение света в коробку и преждевременное обнажение пленки. По сути, первоначальный термин «черный ящик» относился к механизму, который защищает данные от повреждения.

Если бы вы открыли одну из этих коробок, вы бы увидели устаревшую машину, которая выглядела как старый катушечный магнитофон со всеми необходимыми деталями, которые заставляют его работать.

Механизм действия

Даже если вы никогда не видели катушечный магнитофон, вы можете представить себе его работу, просто взглянув на картинку выше. Отдельные элементы - двигатели, переключатели, провода, реле, шестерни - спроектированы так, чтобы их можно было разместить и двигать так, как вы ожидаете от любой классической машины. Я упоминаю об этом, потому что такие устройства нам хорошо знакомы. Любое устройство, которое мы можем открыть для осмотра, будь то тостер, реактивный двигатель или компьютерная мышь, показывает, что двигатель представляет собой сложный, но элегантно собранный набор линейных субмашин. Каждая деталь машины работает в определенном порядке. Причина и следствие в действии. Если вам нужны дополнительные подробности, позвольте мне отослать вас к Как все работает или Объяснителю вещей за веселыми редукционистскими объяснениями.

Когда машины выходят из строя, мы знаем, что можем разобраться во внутренней работе и, как правило, определить точку спора. Подобно гирлянде рождественских огней или сложной скульптуре домино, или сложной машине Рубина Голдберга, когда машина перестает двигаться, отслеживая компоненты линейно и методично, независимо от того, насколько сложна машина, неизменно обнаруживает проблемное место.

Выяснение этого механизма действия - одна из величайших историй успеха науки. Так мы выясняем, как все устроено в природе, включая биологию и здоровье человека. Такой уровень прослеживаемости в некотором смысле утешает.

Ранние компьютеры тоже были такими. У меня была возможность увидеть воссоздание работы разностной машины Бэббиджа 2 в музее компьютерной истории в Маунтин-Вью, Калифорния. Некоторым бедным музейным стажерам приходилось управлять машиной, поскольку она работала с арифметикой. Наблюдать за способностью мускулов человека поворачивать большую рукоятку и видеть, как в результате получается симфония колес, зубчатых колес и других движущихся частей, вращающихся и вспенивающих возможный правильный ответ, было зрелищем. Это было сложно, но опять же, если учесть достаточно времени, я уверен, что все мы могли бы понять это. Не в обиду гению Бэббиджа.

Механистическая тайна

Продолжайте идти по тому же коридору Музея истории компьютеров, и вы увидите, как быстро сложность вычислений превратилась из аналоговых машин в цифровые. С цифровыми компьютерами вы больше не можете просто следовать за набором шестеренок. Нет никаких кривошипов, шестерен или шкивов. Не заблуждайтесь, мы знаем, что электроны движутся по сложным микроскопическим магистралям на печатной плате, но пытаемся выяснить, куда идет отдельный электрон, когда вы нажимаете клавишу на клавиатуре ... ну ... удачи в этом. Но они движутся. Это часовой механизм, но более подробный и в гораздо меньшем масштабе. Большая часть программного кода, созданного для использования этого механизма, является сложным и многоуровневым, но линейным.

И именно здесь методы, используемые в машинном обучении, в частности глубокое обучение, представляют проблему. Эти типы алгоритмов обрабатывают информацию таким образом, что нам трудно интерпретировать. С появлением искусственного интеллекта и, в частности, глубокого обучения, архитектуры нейронных сетей могут давать ответы на сложные вопросы. Тем не менее, системы, использующие глубокое обучение, создают полезную функцию вычислений, но в отличие от других классов алгоритмов, они, кажется, ускользают от чувства линейной прослеживаемости. Сейчас мы наблюдаем появление, как объясняет Ноам Хомский, нового типа науки.

Благодаря использованию множества примеров и больших наборов обучающих данных этот способ вычислений имеет присущую особенность в том, что способ работы этих алгоритмов концептуально передает и обрабатывает информацию через несколько уровней. На каждом уровне обработки данные оцениваются таким образом, что людям трудно их понять. Сети глубокого обучения - это, по сути, черные ящики, поскольку они скрывают конкретный поток анализа концепции через узлы средних уровней сети.

Рискуя чрезмерным упрощением: с нейронными сетями и глубоким обучением мы следим не за электронами, а скорее за битами информации, когда они обрабатываются, переходя от одного уровня к другому. Функции, которые анализируются этими системами, являются частью организации и обучения сети. Возьмите распознавание лиц. Когда программа для смартфона распознает лицо по набору пикселей, легко догадаться, что система видит особенности мира так же, как и человек. По сути, получение отдельных пикселей изображения лица начнёт группировать характеристики вместе на более высоких и более высоких уровнях, так что определенные черты, полный рот, глаз, бровь, будут видны в одном или нескольких из них. эти иерархические слои. Однако, когда исследователи пытаются распаковать эти слои и визуализировать внутреннюю работу, они не видят ничего такого, чего можно было бы ожидать. Изображения непонятны. В некотором смысле система видит и оценивает визуальные паттерны, непостижимые для человека.

По сути. Система видит закономерности, которые нам нелегко понять или интуитивно. Однако при наличии достаточного количества обучающих данных и правильной настройки правильных параметров система с высокой степенью уверенности выдает правильный ответ. Ваша камера может обнаружить улыбку. Он использует эти глубокие сети. Он принимает информацию о пикселях и может распознавать функции, которые люди находят интересными и полезными. Он может делать это снова и снова с высокой точностью.

Эти промежуточные уровни иногда называют скрытыми слоями. Не разработчики не задают вопросов и не особо заботятся об этих скрытых слоях, потому что эти системы глубокого обучения впечатляюще хорошо решают некоторые довольно сложные проблемы. И, как и при правильном обучении, ответы на вопросы орфографии в большинстве случаев верны. В любом случае, пользуясь преимуществами этих систем, поскольку они безопасно управляют нашими автомобилями и распознают музыку, которая нам нравится, по радио, средний человек задается вопросом: как все это работает? в категорию … хммм, это интересно, прежде чем отвлечься на следующую блестящую вещь.

Если песня, рекомендованная Spotify, вам нравится, вы с большей вероятностью нажмете кнопку воспроизведения и продолжите свою жизнь, вместо того, чтобы писать электронное письмо команде инженеров Spotify, спрашивая их, откуда они знают ваш любимый ремикс Kygo.

Это проблема?

Итак, почему это имеет значение? Проблема черного ящика искусственного интеллекта преподносится как серьезный отказ от его использования в здравоохранении. Эта проблема, назовем ее #aix, кажется вполне понятной.

Незнание основного механизма действия кажется опасным, потому что ставки высоки, а неправильные ответы могут привести к гибели людей. А когда дело доходит до общественного здравоохранения, неправильные ответы могут убивать людей в большом количестве. Таким образом, не совсем безумие занять алармистскую позицию, требующую высокого уровня прослеживаемости и обнаруживаемости, чтобы, когда системы глубокого обучения выдавали неправильные ответы, которые являются фактическими или морально неверными, чтобы мы могли использовать необходимую детективную работу для исправления лежащих в основе механизмов. Хотя это кажется справедливым, я бы сказал, что этот уровень осторожности преувеличен.

Медицина уже черный ящик

Истина в том, что то, как мы понимаем и практикуем медицину, предполагает большую долю понимания «черного ящика», чем может признать большинство врачей.

Возьмем, к примеру, как думают врачи. Процесс диагностики во многом остается загадкой. Наш анализ того, как врачи приходят к диагнозу, объединяют все возможности и точки данных и приходят к логическому выводу, - это фикция, которая является результатом ретроспективной предвзятости. Это хорошая история, но в реальности, как и в любом сложном мозговом процессе, все гораздо сложнее. Как и все человеческие решения, ни один человек не может интегрировать все точки данных и быть свободным от предвзятости. Действительно, лучшие диагносты хороши, потому что у них нет доступа ко всем точкам данных. Врачи стремятся к дедуктивным рассуждениям, поскольку они, вероятно, служат основой диагностического процесса. Вот почему количество ошибочных диагнозов оценивается в 10–15%, а врачебные ошибки являются третьей по значимости причиной смерти в Америке: ежегодно погибает более 100 000 человек.

Годы клинического опыта, по сути, создают большую базу данных с информацией, которую трудно описать и которая четко используется при принятии решений. Нам неизвестна корковая обработка таких понятий, как опыт, предположения и предположения. Все это типичные явления черного ящика человеческого мозга, которым мы полагаемся каждый день. Нам нравится думать, что дедуктивные рассуждения, опыт и понимание вместе приводят к принятию лучших медицинских решений. Иногда это называют искусством медицины. Вспомните Салли, который садился в самолет на Гудзоне. Его способность анализировать ситуацию и пропускать части обычного контрольного списка, не относящиеся к его конкретной ситуации, было основано на многолетнем опыте, который можно было применить в течение нескольких секунд. У него было понимание. Как люди справляются с проблемами проницательности, до сих пор остается очень загадочным. По сути, мыслительные процессы, как и глубокие сети, представляют информацию, обрабатываемую в скрытых слоях. Слои, скрытые от сознательного мышления. Это не должно вызывать удивления, учитывая, что человеческий мозг представляет собой наиболее сложную иерархическую структуру, о которой мы знаем.

С ~ 100 миллиардами нейронов и слоев и 10¹⁵ связями между ними сложность определения схемы внутри нашего программного обеспечения становится огромной. Мы не знаем, откуда берутся идеи. И пока результат правильный, мы обычно не ставим его под сомнение. Как пишет в Nature Пьер Бальди, исследователь Калифорнийского университета в Ирвине: Вы постоянно используете свой мозг; вы все время доверяете своему мозгу и не представляете, как работает ваш мозг .

Черный ящик - это не просто принятие медицинских решений человеком. Многие из используемых нами методов лечения, как процедурные, так и фармацевтические и психотерапевтические, имеют механизмы действия, которые очень плохо изучены.

Многие из используемых нами лекарств и процедур также являются черным ящиком. Похоже, нас устраивает механизм черного ящика, лежащий в основе противораковых препаратов, которые лечат рак, даже если мы не знаем точно, как они работают. Мы до сих пор не до конца понимаем весь механизм действия и последующих эффектов на экспрессию генов более распространенных лекарств, таких как Lipitor, который находится в верхней части списка 10 лучших прописываемых лекарств в мире. Дело в том, что механизм действия большинства лекарств неясен. Как отмечает ученый Джон Кларди из Гарвардской медицинской школы в своей статье Washington Post о понимании того, как действуют лекарства: Это своего рода сказка. Механизм действия важен, и мы всегда должны стремиться понять природу того, почему вмешательство работает или почему диагноз правильный, но интересно осознать, что

мы не понимаем, как работает большая часть нашей фармакологии, и не понимаем, как мы принимаем решения о том, как мы ее прописываем. Это не вызвало у нас достаточно паники, чтобы удержать от изучения и использования этих решений в реальном мире. Медицинская практика очень прагматична, и мы склонны ошибаться, пытаясь что-то сделать. Из-за их потенциальной пользы для многих областей медицины алгоритмы машинного обучения и искусственный интеллект в целом попадают в категорию вещей, которые мы не должны запрещать из-за отсутствия полного понимания.

Пациентам нравится ИИ

Они не любят врачебные ошибки, но они ценят прозрачность рисков, связанных с лечением и решениями, которые мы не совсем понимаем. Пациенты к этому относятся спокойно. Откуда я знаю? Посмотрите, как мы доверяем автоматизации в других сферах нашей жизни. Я думаю, можно с уверенностью предположить, что пациенты чувствуют себя комфортно с этими инструментами в рамках своего лечения. Хотя менее ясно, является ли автоматизация, заменяющая или дополняющая людей, более благоприятными примерами в других областях нашей цифровой жизни. Подумайте об автомобильных заводах или роботах по обслуживанию клиентов. Если эти ставки невелики, учтите, что в следующий раз, когда вы сядете в коммерческий авиалайнер, который, кстати, является одним из самых безопасных сидений, на которых вы когда-либо могли сесть, вы никогда не задумаетесь о том, что есть сочетание очень сложной автоматизации в сочетании с навыками пилотирования человека, что позволяет вам путешествовать с комфортом на скорости 600 миль в час на тысячи миль. Среднестатистического пассажира это не волнует. Скорее результат - это основная проблема. Они хотят добраться до места назначения вовремя и безопасно. Вопросы задают только тогда, когда эти 3 вещи находятся под угрозой. В большинстве случаев это работает нормально. Авиационная промышленность придумала, как объединить машины и людей-операторов таким образом, чтобы это было неизменно эффективным.

А когда дело доходит до медицины, предварительные исследования отношения пациентов к здравоохранению кажутся положительными даже по сравнению с доверием к медицине в целом. Будь то авиация, карты Google или доверие нашим фильтрам спама в электронной почте, мы живем в цифровом мире, где наши инструменты оптимизированы, чтобы давать нам полезные ответы, несмотря на то, что подавляющее большинство людей, включая экспертов, не знают, как они работают.

Практичность: правильные ответы

И главное - понять, что с точки зрения пациента правильные ответы имеют значение. Правильные ответы действительно должны быть в центре всего этого разговора. Пациенты не существуют как покровители искусства медицины или поддержать эго профессиональных медиков. Они ищут ясности. Им нужны ответы. Правильные ответы наиболее эффективным способом, чтобы они могли составить план на свое будущее.

Если этот вывод кажется шокирующим, просто подумайте, как он нас не беспокоит в других областях, где автоматизация играет доминирующую роль. Точно так же, когда в последний раз вы смотрели рекомендации из фильмов Netflix, прогноз погоды или кабину самолета и беспокоились о правильном сочетании человеческого и машинного интеллекта? Вы этого не сделали. Все, что имело значение, - понравился ли нам рекомендованный фильм, был ли правильный прогноз и благополучно ли взлетел и приземлился.

Медицина, как и метеорология, - это прагматическая область. В конце концов, вы можете как угодно углубляться в теорию, но пациенты ждут ответа. Если это всего лишь предположение, то вы явно соглашаетесь с этим. Но если мы сможем использовать систему, чтобы получить правильный ответ, механизм действия может отойти на второй план. По сути, успешная медицинская практика зависит от не до конца изученного человеческого мозга, использующего не до конца изученные химические вещества для систем организма, которые не до конца изучены. Мы склонны использовать те же протоколы, что и инженеры-программисты. Мы проводим клинические испытания и корректируем протоколы, чтобы усилить те, которые приводят к благоприятным исходам для пациентов. Эта неопределенность не мешает нам давать правильные ответы.

Нижняя линия

В конце концов, медицина - это прагматическая область. Большинство пациентов не заинтересованы в научных дискуссиях, а вместо этого хотят получить реальные ответы, связанные с прозрачной и честной оценкой риска. Ответы, на которые можно действовать немедленно. Я не говорю, что обнаружение основного механизма действия не имеет значения. Тем не менее, давайте не будем превращать вдумчивое развертывание алгоритмов, которые дают важные ответы пациентам и их медицинским группам, в узкое место. Вам будет трудно оправдать сомнения в отношении развертывания алгоритмов распознавания изображений AI для радиологии, которые лучше, чем только радиологи, в обнаружении рака груди на маммограмме. Пациенты верят, что мы будем использовать любую комбинацию MD, MD + AI или просто AI в сочетании с компьютерным алгоритмом - все, что дает правильную информацию, которая приводит к правильной диагностике и лечению. Целостный подход, ориентированный на пациента, безупречная манера поведения у постели больного и немного гуманизма также не помешают.