Обнаружение патологий на экспертном уровне по неаннотированным рентгеновским изображениям грудной клетки с помощью самоконтролируемого обучения

Искусственный интеллект и машинное обучение произвели революцию в широком спектре отраслей и областей исследований, что привело к значительным достижениям и улучшениям. В частности, индустрия здравоохранения испытала значительное влияние этих технологий. Глубокое обучение позволило автоматизировать комплексные задачи интерпретации медицинских изображений, такие как диагностика заболеваний и сегментация опухолей, от начала до конца.

Это не только повысило эффективность и точность этих процессов, но также может улучшить результаты лечения пациентов, позволив поставить более ранний и более точный диагноз. В частности, интеграция ИИ и МО в здравоохранение не ограничивается задачами интерпретации изображений, но также охватывает такие области, как персонализированная медицина, открытие лекарств и принятие клинических решений. Эти технологии могут улучшить общее качество здравоохранения, обеспечивая более точное и персонализированное лечение, снижая затраты и расширяя доступ к здравоохранению.

Если вы хотите проверить пример, за этот месяц я построил модель Сегментация ядер и модель диагностики COVID-19 (из компьютерной томографии). Я сделал гиперссылку на свой Github, посмотрите!

Возвращение в нужное русло; были достигнуты значительные успехи в эффективности диагностики и автоматизированных моделях глубокого обучения. Как упоминалось ранее, искусственный интеллект и машинное обучение проникли в область биомедицинской визуализации. Модели машинного обучения использовались для анализа мощных статистических моделей с разнообразными приложениями.

Одной из наиболее известных моделей являются сверточные нейронные сети, помогающие радиологам принимать точные и эффективные диагностические решения. Однако эти модели глубокого обучения часто требуют больших размеченных наборов данных на этапе обучения. Предпринимаются масштабные усилия по маркировке данных, но они часто дороги и требуют очень много времени. Им требуется много знаний в предметной области и технических знаний, чтобы выполнить и реализовать это для очень конкретной медицинской задачи.

Прежде чем перейти к самой специфике этой статьи, для контекста в этой статье будет обсуждаться новый подход к обнаружению патологий на неаннотированных рентгеновских изображениях грудной клетки с самоконтролируемым обучением.

Чтобы обойти эту проблему, было предпринято множество подходов. Например, были предложены предварительно обученные модели и самоконтроль, чтобы уменьшить зависимость моделей от больших помеченных наборов данных. Эти попытки оказались многообещающими: предварительно обученные модели с самоконтролем повысили эффективность маркировки во множестве медицинских задач, но они все еще нуждаются в «этапе тонкой настройки под наблюдением после предварительного обучения». Этот шаг, в частности, требует ручной маркировки данных для модели, чтобы предсказать соответствующие патологии. Отсюда становится очевидным, что этот подход способен прогнозировать только те заболевания, которые были аннотированы в наборе данных. Они терпят неудачу, когда дело доходит до прогнозирования патологий, которые явно не аннотированы для обучения. Получение этих высококачественных аннотаций некоторых патологий требует больших затрат и времени. Кроме того, они приводят к значительной операционной неэффективности клинического процесса искусственного интеллекта.

Быстрый TL;DR 📑

В этой статье я собираюсь выделить недавнюю статью, в которой эти ограничения были устранены путем применения парадигмы машинного обучения, в которой модель может классифицировать образцы, которые не были явно аннотированы во время обучения. Они предложили метод нулевого снимка, в котором используется полностью самостоятельный процесс обучения, не требующий каких-либо явных руководств или аннотированных меток для интерпретации рентгеновского изображения грудной клетки. Используемый метод контрастное обучение; тип обучения с самоконтролем, позволяющий выполнять классификацию с несколькими метками с нулевым выстрелом. По сравнению с другими подходами с самоконтролем, эта новая модель/метод не требует никаких меток, кроме тестирования, и способна выявлять патологии с высокой точностью. Для разработки этого метода они «использовали тот факт, что радиологические изображения естественным образом помечаются соответствующими клиническими отчетами и что эти отчеты могут служить естественным источником контроля». с результатами как опытных рентгенологов, так и полностью контролируемых методов.

Понимание нулевого обучения ☄️

Прежде чем перейти к результатам, я пару раз упомянул об обучении с нулевым выстрелом, позвольте мне вкратце рассказать о том, что же такое на самом деле обучение с нулевым выстрелом. Обучение с нуля – это метод, который позволяет модели классифицировать новые объекты или классы без каких-либо предварительных обучающих примеров. Это достигается путем обучения модели на наборе классов и затем с помощью семантического представления классов, таких как атрибуты классов или векторы слов, для обобщения на новые классы. Например, если модель обучена распознавать животных, таких как собаки, кошки и птицы, ее можно использовать для классификации нового животного, такого как зебра, которое никогда раньше не встречалось с зеброй. Модель может сделать это, потому что она изучила семантические атрибуты животных, такие как «четыре ноги» и «полосы», и может использовать эти знания, чтобы сделать вывод, что зебра — это животное с четырьмя ногами и полосами.

Одним из ключевых преимуществ обучения с нуля является то, что оно позволяет модели обучаться на меньшем количестве помеченных данных. Это особенно полезно в реальных приложениях, где данные скудны или дороги для сбора. . Например, в области медицины может быть сложно получить размеченные данные для редких заболеваний, поэтому модель обучения с нулевым выстрелом можно обучить распространенным заболеваниям, а затем использовать для классификации редких заболеваний на основе их семантических атрибутов.

Еще одним преимуществом обучения с нулевым выстрелом является то, что его можно использовать для классификации новых классов, которые раньше не встречались. Это важно в динамических реальных приложениях, где со временем могут появиться новые классы. Например, в области компьютерного зрения могут быть введены новые классы объектов, такие как новые типы транспортных средств или новые виды животных. Модель обучения с нулевым выстрелом можно обучить на существующих классах, а затем использовать для классификации новых классов на основе их семантических атрибутов.

Однако у обучения с нулевым выстрелом также есть свои ограничения и проблемы. Одной из основных проблем является необходимость точного семантического представления. Если семантическое представление неточное, модель не сможет обобщаться на новые классы. Кроме того, модели обучения с нулевым выстрелом могут иметь трудности с обобщением невидимых экземпляров видимых классов. Это связано с тем, что модель не видела примеров этих экземпляров во время обучения и может быть не в состоянии определить правильный класс только на основе семантических атрибутов.

Теперь, когда у нас есть общее представление о том, что такое обучение с нулевым выстрелом, давайте углубимся в результаты статьи.

Результаты 📁

Обучение с нулевым выстрелом использовалось для классификации патологий на рентгенограмме грудной клетки без обучения на явных метках. Для этого использовались пары «изображение-текст» рентгенографии органов грудной клетки и радиологических отчетов. Используя эти 2 источника данных, модель научилась предсказывать, какой рентген грудной клетки соответствует какому рентгенологическому отчету. Модель была обучена с более чем 377 000 пар изображений и текста рентгенограмм грудной клетки. Эти данные были получены из набора данных MIMIC-CXR.

После обучения и тестирования модели результаты были весьма многообещающими, фактически они были сопоставимы с 3 эталонными радиологами, классифицировавшими 5 патологий соревнований CheXpert, которые оценивались в наборе данных. Для оценки модели использовался коэффициент корреляции Мэтью (MCC). Результаты по метрике MCC были настолько многообещающими, что не было статистически значимой разницы между характеристиками моделей и эталонными радиологами. Это был лишь пример некоторых статистических данных, показывающих, что модель самоконтроля может конкурировать с лучшими из лучших. Другие статистические данные включают производительность F1 и кривую рабочих характеристик приемника (ROC). Вот визуализированные результаты:

Затем модель с самоконтролем была протестирована в сравнении с 3 предыдущими моделями с эффективным использованием этикеток: MoCo-CXR, MedAug и ConVIRT. Прежде чем погрузиться в результаты тестов, давайте лучше поймем, что это за модели и как они работают.

Модель MoCo-CXR и MedAug использует самоконтроль с использованием рентгеновских изображений грудной клетки в наборе данных CheXpert. В частности, модель MoCo-CXR изменяет структуру контрастивного обучения Momentum Contrast (MoCo) для интерпретации рентгеновских изображений грудной клетки. MedAug, с другой стороны, основывается на предварительном обучении в рамках MoCo; метаданные пациента используются для выбора пар положительных рентгенограмм грудной клетки для контрастного предварительного обучения. ConVIRT использует пары изображение-текст для самоконтроля. Он использует ResNet-50 и Transformer, используя случайно выбранный текст из парных данных рентгенографии грудной клетки и данных радиологического отчета. Ключевое различие между этими моделями и моделью CheXzero заключается в том, что эти модели требуют некоторых размеченных данных, даже если это небольшая часть. Вот проценты того, какая часть данных была помечена:

Результаты тестирования модели CheXzero в сравнении с тремя другими моделями оказались очень обнадеживающими, продемонстрировав потенциал этого инновационного подхода. Несмотря на использование 0% помеченных данных, модель CheXzero достигла самого высокого среднего значения AUC среди всех моделей с самоконтролем, продемонстрировав свою способность работать на уровне, сравнимом с моделями, которые полагаются на помеченные данные. Это значительное достижение, так как получение помеченных данных может быть дорогостоящим и занимать много времени, что делает подход к обучению с нулевым выстрелом высокоэффективным и рентабельным.

Производительность модели CheXzero по сравнению с тремя другими моделями была детально проанализирована, и результаты оказались впечатляющими. Модель превзошла другие модели в нескольких ключевых областях, особенно в ее способности точно идентифицировать и классифицировать конкретные условия. Эти результаты демонстрируют потенциал модели CheXzero, чтобы произвести революцию в области биомедицинской визуализации и проложить путь для дальнейших исследований и разработок в этой области. Для подробного анализа ниже приведены результаты модели CheXzero в сравнении с тремя другими. модели:

Экстраполяция CheXzero на данные PadChest 📈

Гибкость обучения с нулевым выстрелом позволяет модели с самоконтролем выполнять широкий спектр вспомогательных задач, связанных с содержимым рентгенологических отчетов. В дополнение к своим предыдущим приложениям модель была дополнительно протестирована путем решения таких задач, как дифференциальная диагностика с использованием набора данных PadChest, прогнозирование пола пациента и определение проекций рентгенограммы грудной клетки. Особого внимания заслуживают результаты применения модели самоконтроля для дифференциальной диагностики в наборе данных PadChest. Несмотря на использование 0% помеченных данных, модель превзошла подход, использованный в исследовании CheXNet, для трех из восьми выбранных патологий; ателектаз, консолидация и отек. Это подчеркивает потенциал моделей обучения с нулевым выстрелом для достижения сопоставимой или даже более высокой производительности по сравнению с моделями, основанными на размеченных данных. Результаты этого эксперимента показаны ниже:

Заключительные мысли 💭

В целом видно, что метод самоконтроля показал очень многообещающие результаты в конкурсе CheXpert. Производительность модели с нулевым выстрелом была сопоставима с радиологами, и не было статистически значимой разницы между характеристиками F1 и MCC. Более того, модель с самоконтролем превзошла предыдущие модели с эффективным использованием меток для классификации патологии грудной клетки. Это говорит о том, что тратить время и деньги на явные метки не является обязательным условием для хорошо работающих моделей медицинских изображений. Эти результаты были получены с помощью модели глубокого обучения, в которой доступные рентгенологические отчеты используются в качестве естественного сигнала.

Увлекательная часть заключается в том, что результаты были подтверждены извне на наборе данных MIMIC-CXR и на двух других независимых наборах данных; набор тестовых данных CheXpert и подмножество набора данных PadChest с комментариями человека 🤯

История показала, что модели, обученные с небольшими объемами помеченных данных, показали себя многообещающе, но они по-прежнему требовали некоторых явных меток и аннотаций. Страшно то, что эти аннотации тоже может быть нелегко получить. Например, одна из моделей достигла среднего значения AUC (площадь под кривой ROC) 0,870 в наборе данных CheXpert с использованием даты с меткой 1%. Недостатком является то, что в большинстве крупномасштабных моделей используются большие объемы данных; 1% данных может оказаться очень большим числом. Еще одним серьезным недостатком является то, что эти предыдущие модели могут предсказывать только те патологии, которые были отмечены во время обучения. Это огромное ограничение, препятствующее дальнейшей экстраполяции модели.

«Метод с самоконтролем может устранить узкое место маркировки в конвейере машинного обучения для ряда задач медицинской визуализации за счет использования легкодоступных неструктурированных текстовых данных без предварительной обработки в конкретной предметной области».

Однако эта модель все еще находится в стадии разработки и далека от совершенства. Прежде всего, хотя метод самоконтроля устраняет необходимость в размеченных данных, он по-прежнему требует постоянной оценки производительности с использованием размеченного проверочного набора для выбора гиперпараметров и определения пороговых значений вероятности для конкретных условий для расчета Статистика МСС и F1.

Второй недостаток заключается в том, что модель CheXzero ограничена данными изображений, ее нельзя экстраполировать на другие типы данных. Однако в большинстве случаев можно экстраполировать данные, не относящиеся к изображениям. «Например, магнитно-резонансная томография и компьютерная томография позволяют получать трехмерные данные, которые использовались для обучения других конвейеров машинного обучения».

В целом, у модели CheXzero большое будущее, поскольку она показала многообещающие результаты в области биомедицинской визуализации. Результаты, обсуждаемые в этой статье, подчеркивают потенциал этих нулевых моделей. Кроме того, способность модели CheXzero хорошо работать с данными с нулевой маркировкой подчеркивает эффективность и экономичность этого подхода. Модель CheXzero может произвести революцию в способах выполнения задач биомедицинской визуализации, и я с нетерпением жду дальнейшего изучения и развития этой технологии в будущем.

Если вы хотите проверить github для этой модели, ссылка на нее здесь.

Если вам понравилась эта статья, не стесняйтесь хлопать и делиться ею! Вы можете поймать меня на LinkedIn, и если вы хотите ознакомиться с некоторыми другими моими работами, вот мой личный сайт :)

Ссылки

  1. «Классификация: кривая Roc и AUC | Машинное обучение | Разработчики Google». Google, Google, developer.google.com/machine-learning/crash-course/classification/roc-and-auc#:~:text=AUC%20(Область%20под%20%20ROC, чем%20a%20случайный%20отрицательный%20пример.
  2. Шах, Девал. «Обучение с самоконтролем и его приложения». Neptune.ai, 14 ноября 2022 г., neptune.ai/blog/self-supervised-learning#:~:text=Self%2Dsupervised%20learning%20is%20a,by%20auto%2Dgenerating%20the %20метки.
  3. Тиу, Экин и др. Обнаружение патологий на уровне экспертов на неаннотированных рентгеновских изображениях грудной клетки с помощью обучения с самостоятельным наблюдением. Nature News, Nature Publishing Group, 15 сентября 2022 г., www.nature.com/articles/s41551-022-00936-9.
  4. Тиу, Экин. «Понимание нулевого обучения — как сделать машинное обучение более человечным». Medium, На пути к науке о данных, 7 июля 2021 г.,wardsdatascience.com/understanding-zero-shot-learning-making-ml-more-human-4653ac35ccab.