Авторы Эндрю Хуанг и Мэтью Сан
Произошло пробуждение ... Вы это почувствовали?
Как и во многих других задачах компьютерного зрения, сверточные нейронные сети (CNN) оказались очень эффективными при сегментации изображения, в задаче классификации каждого пикселя изображения в отдельный класс. Однако, если вы посмотрите на таблицы лидеров многих важных проблем сегментации органов брюшной полости (PROMISE12, SLiver07), CNN только начали работать лучше по сравнению с традиционными полуавтоматическими или интерактивными методами анализа изображений еще в 2016 году. Даже 3D CNN, основанные на U-Nets, сверточную сетевую архитектуру, разработанную специально для сегментации биомедицинских изображений, было трудно обучить с небольшими наборами данных (Yu et al. 2017). Несмотря на то, что CNN обладали преимуществами быстрых вычислений и сквозного контроля проектирования, они не могли превзойти гораздо менее известные методы. Так почему же CNN изначально были неудачными? Что изменилось?
Большая часть проблемы заключается в сложности сегментирования органов в брюшной полости. В дополнение к отсутствию данных (проблема, характерная для задач медицинской визуализации из-за регулирования конфиденциальности) и различий между людьми, брюшная полость человека заполнена органами, которые имеют похожие на вид ткани с нечеткими границами. Даже после того, как эти органы были сегментированы, сегментация опухоли считается еще более сложной задачей. Например, опухоли в печени могут иметь различные размеры, форму, расположение и количество в пределах печени одного пациента, тогда как для сегментации печени требуется только найти границы одного объекта в одной постоянной области тела.
Распространенной практикой при планировании лучевой терапии является ручная сегментация и объемный анализ органов, особенно печени, при компьютерной томографии (КТ) и магнитно-резонансном сканировании (МРТ). Сегментация органов брюшной полости - важнейший первый шаг для компьютерной диагностики (CAD) клинических вмешательств, лучевой терапии, планирования лечения и оценки после лечения (Moghbel et al. 2017). Например, точное определение объема печени и опухоли печени пациента важно для снижения риска проведения недостаточного или избыточного количества лучевой терапии. Если пациенту предстоит пройти терапию печени, эта задача также необходима, чтобы убедиться, что остается достаточно для правильной работы печени. Однако ручная сегментация варьируется от практикующего специалиста к практикующему, должна выполняться поэтапно и требует большого количества времени и труда. Выполнение сегментации печени на компьютерной томографии может занять до 90 минут для одного пациента (Gotra et al. 2017).
Создание быстрой, точной и автоматической системы для сегментации органов брюшной полости и опухолей окажет огромное положительное влияние на отрасль здравоохранения. Один только рак печени является вторым по летальности раком для мужчин и шестым по летальному исходу для женщин: в 2008 году во всем мире умерло 696 000 человек. В Соединенных Штатах колоректальный рак является третьей по величине причиной возникновения и смерти от рака для мужчин и женщин вместе взятых. Производство быстрых и полностью автоматических моделей, не требующих специальных знаний для предварительной обработки, будет особенно выгодным для больниц во многих развивающихся странах, где учреждения часто недоукомплектованы персоналом и имеют мало подготовленных радиологов.
Новая надежда
Вообще говоря, подходы, которые исследователи недавно использовали для достижения лучших результатов в сегментации органов брюшной полости с помощью CNN, состояли из новых гибридных сетевых архитектур, использующих преимущества трехмерной структуры сегментации компьютерной томографии. Например, одна группа (Yu et al., 2017) использовала длинные и короткие остаточные соединения в нейронной сети, в результате чего была получена архитектура, являющаяся гибридом между U-Net и ResNet. Эти остаточные связи значительно улучшают распространение градиента по сети, что важно для решения проблемы при нехватке данных. Это оказалось отличным выбором дизайна, поскольку они не только достигли гораздо большей производительности, чем старые методы, но и остаточные связи привели к сокращению времени обучения. Фактически, эта модель смогла опередить алгоритм, который в течение пяти лет занимал первое место в конкурсе PROMISE12 Prostate MRI Segmentation Challenge.
Аналогичным образом Ли и др. (2017), чья модель в настоящее время занимает первое место в конкурсе MICCAI 2017 Liver Tumor Segmentation Challenge с большим отрывом, предложили гибридный плотно связанный UNet с гибридным слоем слияния функций (HFF) для совместной оптимизации 2D и 3D слоев DenseUNet. Другие подходы включают использование предварительно обученных CNN, таких как CaffeNet, для генерации функций с последующей передачей этих функций в SVM или классификаторы случайного леса. Например, Zhang et al. (2017) смогли превзойти эффективность эндоскопистов в обнаружении и классификации колоректальных полипов, обучив SVM функциям из первых 5 слоев CaffeNet. Эти модели также хорошо справляются с задачами, связанными с наборами данных, но их сложнее настроить, поскольку исследователи не имеют полного контроля над моделью.
Данные: Священные тексты
Проблема, которая наиболее часто препятствует исследованиям сегментации брюшной полости, - это ограниченный объем доступных данных. Один из самых известных наборов данных, SLiver07, содержит только 20 томов КТ печени для тренировки и 10 томов КТ для тестирования (Lee et al. 2007). В испытании MICCAI PROMISE12 для загрузки было доступно всего 50 снимков МРТ простаты. Несмотря на усилия по увеличению объема данных, таким как вращение, преобразование и добавление гауссовского шума, исследователи признают, что обучение эффективной CNN с ограниченными данными обучения для анализа медицинских изображений является фундаментальной проблемой (Yu et al., 2017). Действительно, общепризнано, что для сложной задачи, такой как сегментация медицинских изображений, требуются тысячи, а не десятки точек данных, чтобы обучить CNN оптимальной производительности.
Однако многообещающе кажется, что размеры общедоступных и частных наборов данных в последнее время увеличиваются: в исследовании MICCAI Liver Tumor Segmentation Challenge 2017 г. было 130 загружаемых компьютерных томографов, и Yang et al. (2017) опубликовал первое исследование сегментации печени, проведенное на более чем 1000 3D КТ-сканирований, достигнув превосходных результатов по сравнению с современными методами. Примечательно, что Ян и др. также реализовали новую форму состязательного обучения для повышения производительности DI2IN, их многослойной CNN. После обучения DI2IN они использовали состязательную сеть, предназначенную для различения наземной истины и выходных данных CNN, что позволило им дополнительно обновлять параметры DI2IN для повышения производительности без дополнительных данных.
ConvNet наносит ответный удар
До сих пор мы сосредоточились в первую очередь на сегментации печени и опухолей печени, наиболее популярной области исследований в области сегментации изображений брюшной полости. Однако мы считаем, что успехи, достигнутые в этой области, могут быть распространены на другие области, такие как сегментация простаты, почек и поджелудочной железы, из-за сходства этих органов по внешнему виду на КТ. Фактически, только в последние два года мы начали видеть исследования, успешно использующие CNN для многоорганной сегментации в брюшной полости. В 2017 году Roth et al. достигла наивысшего среднего значения Dice в наборе данных вручную размеченных КТ-сканирований, содержащих семь структур брюшной полости, с использованием 3D U-Net, опередив другие подходы, такие как полностью сверточные 2D-сети или случайные леса с вырезанием графа. В том же году Hu et al. (2017) и Larsson et al. (2017) оба опубликовали исследования с использованием трехмерных глубоких сверточных нейронных сетей для высокоточной многоорганной сегментации. Сегментация нескольких органов может стать популярной как представляющая интерес проблема, особенно если исследователи попытаются использовать некоторые из вышеупомянутых гибридных сетевых архитектур, которые были успешно применены для сегментации опухолей печени.
Последний радиолог?
Важно отметить, что сегментация органов - обычная практика в радиационной онкологии и интервенционной радиологии, но нечасто выполняется радиологами на повседневной основе. Достижения в области полностью автоматизированной сегментации органов брюшной полости не следует рассматривать как свидетельство того, что радиологам грозит неминуемая опасность потерять работу; вместо этого мы надеемся, что эти достижения уменьшат время и трудозатраты, связанные с планированием лучевой терапии. Автоматизация также может повысить эффективность рабочего процесса, что приведет к более быстрой диагностике и лечению, что означает экономию долларов и улучшение результатов. Освободив врачей от интенсивных, черных и повторяющихся задач, мы надеемся, что инструменты искусственного интеллекта позволят им сосредоточиться на долгосрочной стратегии лечения, обслуживать больше пациентов и, в конечном итоге, спасти как можно больше жизней.
Благодарности
Мы хотели бы выразить благодарность всем, кто просмотрел эту статью и оставил отзыв. Во-первых, мы хотели бы поблагодарить Мэтта Лунгрена, доктора медицины и здравоохранения, доцента радиологии в Медицинском центре Стэнфордского университета, и Бхавика Пателя, доктора медицины, магистра делового администрирования, доцента радиологии Медицинского центра Стэнфордского университета, за предоставленные экспертные предложения. Мы также благодарим Пранава Раджпуркара и Джереми Ирвина из преподавательского состава AI for Healthcare Bootcamp, а также наших коллег по буткемперам Нору Борус, Криса Лин и Хенрика Марклунда за просмотр наших первоначальных проектов. Наконец, мы хотели бы поблагодарить Stanford ML Group за возможность принять участие в учебном лагере AI for Healthcare Bootcamp!
Процитированные работы
Американское онкологическое общество. Факты и цифры о раке, 2017 г. Атланта: Американское онкологическое общество; 2011. https://www.cancer.org/content/dam/cancer-org/research/cancer-facts-and-statistics/annual-cancer-facts-and-figures/2017/cancer-facts-and-figures -2017.pdf [Доступ 21 января 2017 г.]
Готра, А., Сивакумаран, Л., Чартран, Г., Ву, К. Н., Ванденбрук-Меню, Ф., Кауфманн, К.,… и Танг, А. (2017). Сегментация печени: показания, методы и направления на будущее. Insights into Imaging, 1–16.
Ху П., Ву Ф., Пэн Дж., Бао Ю., Чен Ф. и Конг Д. (2017). Автоматическая многоорганная сегментация брюшной полости с использованием глубокой сверточной нейронной сети и неявных по времени наборов уровней. Международный журнал компьютерной радиологии и хирургии, 12 (3), 399–411.
Ларссон, М., Чжан, Ю., и Каль, Ф. (2017, июнь). Надежная сегментация органов брюшной полости с использованием региональных сверточных нейронных сетей. В Скандинавской конференции по анализу изображений (стр. 41–52). Спрингер, Чам.
Lee, J., Kim, N., LEE, H., Seo, JB, Won, HJ, Shin, YM, Shin, YG, Kim, SH: Эффективная сегментация печени с использованием метода установки уровня с оптимальным обнаружением начального граница печени по изображениям с заданной скоростью. Компьютерные методы и программы в биомедицине, 88 (1), 26–28, (2007).
Ли, X., Chen, H., Qi, X., Dou, Q., Fu, C.W., & Heng, P.A. (2017). H-DenseUNet: гибридный UNet с плотным подключением для сегментации печени и опухолей печени из томов компьютерной томографии. Препринт arXiv arXiv: 1709.07330.
Могбель М., Машохор С., Махмуд Р. и Сарипан М. И. Б. (2017). Обзор методов сегментации печени и компьютерной диагностики / диагностики в компьютерной томографии. Обзор искусственного интеллекта, 1–41.
Роннебергер О., Фишер П. и Брокс Т. (2015, октябрь). U-net: Сверточные сети для сегментации биомедицинских изображений. В Международной конференции по медицинской обработке изображений и компьютерному вмешательству (стр. 234–241). Спрингер, Чам.
Рот, Х. Р., Ода, Х., Хаяси, Ю., Ода, М., Симидзу, Н., Фудзивара, М.,… и Мори, К. (2017). Иерархические трехмерные полностью сверточные сети для многоорганной сегментации. Препринт arXiv arXiv: 1704.06382.
Янг Д., Сюй Д., Чжоу, С. К., Георгеску, Б., Чен, М., Грбич, С.,… и Команичиу, Д. (2017, сентябрь). Автоматическая сегментация печени с использованием состязательной сети «изображение-изображение». В Международной конференции по медицинской обработке изображений и компьютерному вмешательству (стр. 507–515). Спрингер, Чам.
Ю. Л., Ян Х., Чен Х., Цинь Дж. И Хэн П. А. (2017, февраль). Объемные ConvNets со смешанными остаточными соединениями для автоматизированной сегментации простаты из 3D МРТ изображений. В AAAI (стр. 66–72).
Чжан, Р., Чжэн, Ю., Мак, Т. В. К., Ю, Р., Вонг, С. Х., Лау, Дж. Ю., и Пун, К. С. (2017). Автоматическое обнаружение и классификация колоректальных полипов путем передачи низкоуровневых функций CNN из немедицинской области. Журнал IEEE по биомедицинской и медицинской информатике, 21 (1), 41–47.
