Можно ли SAM действительно считать профессиональным инструментом сегментации в области медицинской визуализации, или он не может считаться простой уловкой, пытающейся подражать успеху chatGPT?

SAM в первую очередь предназначен для сегментации объектов на естественных изображениях, а не на медицинских изображениях. Хотя SAM хорошо работает с естественными изображениями, он может быть неприменим напрямую к сегментации медицинских изображений по нескольким причинам:

  • Различия предметной области: медицинские изображения значительно отличаются от естественных изображений по разрешению, резкости, уровню шума, цветовому разнообразию и деформации.
  • Ограниченные аннотированные данные: получение аннотированных медицинских данных занимает много времени, что приводит к ограниченной доступности обучающих выборок.
  • Несбалансированное распределение классов: медицинские данные могут демонстрировать несбалансированные классы из-за естественного распределения поведения.
  • Вариабельность анатомических структур: разнообразие, наблюдаемое на медицинских изображениях, является отражением широкого спектра вариаций, присутствующих у разных пациентов. Уникальные характеристики и состояния каждого пациента способствуют большому распространению медицинских случаев.

Случаи, требующие точной сегментации, включают:

  1. Лучевая терапия: во время планирования лечения используются методы медицинской визуализации, такие как КТ (компьютерная томография), МРТ (магнитно-резонансная томография) и ПЭТ (позитронно-эмиссионная томография), чтобы визуализировать и точно очертить опухоли и окружающие здоровые ткани. Это позволяет онкологам-радиологам создать план лечения, который доставляет необходимую дозу облучения цели, не затрагивая близлежащие критически важные структуры и органы.
  2. Хирургическое планирование: поддержка хирургов за счет точной предоперационной сегментации структур и опухолей, что позволяет лучше визуализировать и планировать сложные операции.
  3. Мониторинг заболеваний: помощь в наблюдении за прогрессированием заболеваний, таких как рост опухоли или изменения в структурах органов, путем сегментации и сравнения медицинских изображений с течением времени.
  4. Вмешательства под визуальным контролем: помощь в проведении процедур под визуальным контролем, таких как игольная биопсия или установка катетера.

Преимущество SAM заключается в его возможности обучения с нуля. Однако существует несколько конкурирующих архитектур, которые не являются нулевыми, но широко используются для сегментации и классификации медицинских изображений.

Герои медицинской сегментации с ненулевым выстрелом:

  • U-Net: популярная архитектура для сегментации медицинских изображений, U-Net состоит из пути кодера и пути декодера.
  • 3D U-Net: Расширение U-Net для обработки объемных медицинских изображений.
  • Внимание U-Net: механизмы внимания интегрированы в структуру U-Net, чтобы выделять важные области и скрывать ненужную информацию.
  • V-Net: читайте этот блог.

Важно отметить, что выбор архитектуры зависит от конкретных требований задачи сегментации медицинских изображений, набора данных и характеристик сегментируемых изображений. Исследователи часто настраивают и адаптируют эти архитектуры или разрабатывают новые архитектуры, которые решают уникальные проблемы и характеристики данных медицинской визуализации.

На следующем рисунке показано сравнение упомянутых архитектур, где точность Dice служит метрикой для оценки производительности сегментации в различных медицинских приложениях, при этом более высокий коэффициент Dice указывает на лучшую точность сегментации.

Производительность SAM оценивалась с использованием комплексного набора данных COSMOS 553K. Этот набор данных состоит из 16 модальностей, 68 объектов и ошеломляющих 553 тыс. срезов, предоставляя богатый и разнообразный набор изображений для анализа и оценки возможностей сегментации SAM. На рис. 1 показаны различные методы, включенные в набор данных COSMOS 553K: КТ, Т1-взвешенная МРТ, диффузионно-взвешенная МРТ, МРТ (магнитно-резонансная томография сердца), кино-МРТ, МРТ, Т2-взвешенная МРТ, гистопатология, электронная микроскопия, УЗИ (УЗИ), рентген, исследование глазного дна, колоноскопия, дерматоскопия и микроскопия. Тем не менее, в этом блоге будет обсуждаться несколько тематических исследований, которые SAM стремится решить, в том числе:

  1. Органы брюшной полости (упомянутые в контексте эффективности SAM при сегментации органов брюшной полости при КТ).
  2. Печень (упоминается конкретно в контексте многофазной сегментации опухоли печени)
  3. Мозг (упоминается в контексте эффективности SAM при сегментации опухоли головного мозга)
  4. Толстая кишка (упоминается в контексте эффективности SAM при сегментации полипов на колоноскопических изображениях)
  5. Почки (упоминание в контексте влияния интерактивных платформ на адаптивную сегментацию SAM на КТ-изображениях брюшной полости)
  6. Сетчатка (упоминается в контексте сегментации кровеносных сосудов сетчатки на изображениях глазного дна)

Как работает SAM? Честно говоря, очень просто! Вот его основные возможности:

  • Нулевой выстрел: пользователи могут сегментировать объекты без предварительного обучения или дополнительных указаний.
  • Выбор ограничительной рамки: пользователи могут определять области объекта с помощью ограничивающих рамок, просто рисуя прямоугольник вокруг нужного объекта.
  • Выбор точки: пользователи могут указывать ключевые точки внутри интересующего объекта, и SAM использует эту информацию для сегментации всего объекта.
  • Интерактивный опыт: пользователи могут уточнять и улучшать первоначальную сегментацию, предоставляя дополнительные рекомендации или исправления.

Интерактивная платформа: главное!

Интерактивная платформа играет решающую роль в получении точных результатов сегментации. При изучении сегментации почки значение различных типов визуальных подсказок выделено на рисунке 1. Исследование сосредоточено на сравнении эффективности точечных подсказок и подсказок ограничивающей рамки с особым акцентом на соревновательных результатах, достигнутых с помощью подсказок прямоугольной формы, даже в присутствии умеренного дрожания. Эти результаты подчеркивают важность выбора интерфейса и подчеркивают роль интерактивных платформ в достижении точных и надежных результатов сегментации почки.

Swiss-SAM Slicing: идеальное сочетание для медицинской визуализации!

3D Slicer, швейцарский армейский нож медицинской визуализации, предлагает расширенные возможности визуализации и обработки, позволяя пользователям исследовать и анализировать данные изображения в 3D-среде. Он предоставляет ряд инструментов для интерактивной сегментации, аннотации, регистрации и слияния нескольких модальностей изображений. SAMM использует эти возможности для обеспечения бесшовной интеграции и эффективной обработки медицинских изображений с помощью SAM. Интегрируя SAM с 3D Slicer, пользователи могут визуализировать и анализировать результаты сегментации, созданные SAM, в том же программном обеспечении, что позволяет им оценивать и уточнять маски сегментации по мере необходимости. В целом, интеграция SAM с 3D Slicer обеспечивает мощную и знакомую платформу для сегментации медицинских изображений. Он сочетает в себе расширенные возможности сегментации SAM с богатыми инструментами обработки изображений, визуализации и анализа 3D Slicer, позволяя исследователям и медицинским работникам выполнять задачи эффективной и точной сегментации медицинских изображений.

Как работает SAM для сегментации полипов во время колоноскопии в условиях неподсказки?

В этом сценарии SAM не продемонстрировал превосходной производительности по сравнению с существующими современными моделями. Следовательно, необходимы дальнейшие исследования и разработки для повышения эффективности SAM, особенно при сегментации полипов, что имеет решающее значение для улучшения диагностики и лечения колоректального рака. На рис. 2 представлены примеры эффективности SAM при сегментации полипов, демонстрирующие как улучшенные результаты сегментации (слева), так и менее точные результаты сегментации (справа).

Чтобы помочь в планировании лучевой терапии, SAM обеспечивает высокую точность МРТ опухоли головного мозга. Вот почему.

Планирование лучевой терапии — это процесс определения оптимальной траектории проведения лучевой терапии у пациента с опухолью. Он включает в себя тщательный учет локализации, размера, формы и близости опухоли к критическим функциональным областям (речевой, зрительной, слуховой, сенсорной и т. д.), а также желаемую дозу облучения и метод лечения. Цель состоит в том, чтобы максимизировать эффективность лечения при минимальном воздействии на здоровые ткани.

На рисунке 3 показано сравнение между наземной истинной сегментацией опухоли (красный) и SAM-сегментацией (зеленый), наложенной на МРТ-изображение головного мозга. На мой взгляд, высокая точность исследования достигнута за счет отбора «легких» изображений с отчетливым контрастом между опухолью и окружающими пикселями, а также четкими границами опухоли, в отличие от нечетких или нечетких случаев. Это позволило получить более точные результаты сегментации, способствуя наблюдаемой высокой точности сегментации опухоли.

Как различные разрешения и этапы визуализации влияют на эффективность SAM при сегментации опухолей печени?

Четко ли SAM видит вещи на изображениях с высоким разрешением и указывает на ключевые детали, или ему трудно соединить точки, когда они сталкиваются с низким разрешением и скудным выбором?

Оценка SAM с использованием различных разрешений [224, 512, 1024] и различных фаз [без контраста, артериальная, портальная венозная, отсроченная] в наборе данных из 1552 многофазных томов КТ с контрастным усилением показывает, что производительность SAM может не соответствовать ожидаемому уровню. , но он демонстрирует потенциал в качестве эффективного инструмента аннотации при достаточном руководстве человеком, особенно с большим количеством точек подсказки (P = 20).

В контексте задачи многофазной сегментации опухоли печени фазы относятся к разным стадиям или временным точкам во время КТ с контрастным усилением. Как правило, это сканирование включает в себя несколько фаз, чтобы зафиксировать различные аспекты улучшения ткани печени. Обычно фазы включают в себя:

  1. Фаза без контраста (NC): это начальное сканирование без введения контрастного вещества.
  2. Артериальная (АРТ) фаза: эта фаза фиксирует артериальное кровоснабжение печени и обычно достигается вскоре после инъекции контрастного вещества.
  3. Портальная венозная фаза (PV): эта фаза захватывает венозное кровоснабжение печени и приобретается, когда контрастное вещество циркулирует через портальные вены.
  4. Фаза задержки (DE): эта фаза приобретается в более поздний момент времени, чтобы зафиксировать характеристики отсроченного усиления ткани печени.

Как влияет разрешение изображений и количество выбранных точек на производительность SAM?

  • Предоставление большего количества подсказок в качестве руководства улучшает результаты сегментации.
  • Вопреки ожиданиям, большее разрешение данных не всегда приводит к лучшим результатам сегментации. увеличение разрешения изображений CECT не обязательно улучшает общую производительность SAM.

Можем ли мы настроить SAM и повысить его производительность, точно настроив модель с помощью нескольких шагов обучения?

Сегментация кровеносных сосудов сетчатки на изображениях глазного дна оказалась сложной задачей для SAM, поскольку первоначальные попытки нулевой сегментации не дали точного определения и сегментации сосудов. Даже с ручными подсказками в областях с хорошо видимыми сосудами SAM изо всех сил пытался добиться точной сегментации, вероятно, из-за сложной природы непрерывно ветвящихся структур, таких как кровеносные сосуды на медицинских изображениях и ветви деревьев на изображениях природы.

Чтобы преодолеть это ограничение, SAM был настроен с помощью адаптера SAM, метода тонкой настройки для конкретной задачи. В этом эксперименте для тонкой настройки были выбраны 20 пар «изображение-маска» из набора данных «Цифровые изображения сетчатки для извлечения сосудов». Тренировка проходила под наблюдением, и для руководства и контроля тренировочного процесса использовались наземные маски правды.

После точной настройки SAM результаты сегментации были представлены на рис. 5, демонстрируя почти идеальное соответствие между прогнозами и истинными данными в большинстве случаев, что указывает на потенциал SAM для точной сегментации медицинских изображений после проведения точной сегментации для предметной области. тюнинг. Тем не менее, на конечных концах сосудов наблюдались небольшие недостающие детали, что указывает на области для дальнейшего улучшения характеристик SAM.

Закрытие: нарезка и игра в кости: поиски SAM идеальной сегментации в медицинском лабиринте (беспорядке)

В заключение, точная сегментация имеет решающее значение в таких случаях, как лучевая терапия, хирургическое планирование, мониторинг заболеваний и вмешательства под визуальным контролем. В то время как SAM демонстрирует умение сегментировать естественные изображения, он сталкивается с проблемами в области сегментации медицинских изображений. Однако доступны альтернативные архитектуры, такие как U-Net, 3D U-Net, Attention U-Net и V-Net, которые специально разработаны для сегментации медицинских изображений. Эти архитектуры предлагают индивидуальные решения для решения сложных задач, связанных с данными медицинской визуализации.

Точная настройка SAM с обучением за несколько выстрелов обещает улучшить его производительность в конкретных задачах, как показано в сегментации кровеносных сосудов сетчатки. Однако важно отметить, что SAM еще не готов к клиническому использованию, и для расширения его возможностей необходимы дальнейшие исследования и разработки.

Если вам нравится моя работа, не стесняйтесь, напишите мне по электронной почте [email protected] или свяжитесь со мной на LinkedIn. Я хотел бы услышать ваши мысли и поговорить о наших общих интересах.

Ссылка:

  1. Хуан, Юхао и др. «Сегментировать любую модель для медицинских изображений?». препринт arXiv arXiv:2304.14660 (2023).‏
  2. Рой, Сайкат и др. "Сэм. md: нулевые возможности сегментации медицинских изображений любой модели сегмента». препринт arXiv arXiv:2304.05396 (2023).
  3. Лю, Ихао и др. «Сэмм (сегментируйте любую медицинскую модель): интеграция 3D-слайсера с Сэмом». препринт arXiv arXiv: 2304.05622 (2023 г.).
  4. Чжоу, Тао и др. «Может ли Сэм сегментировать полипы?». препринт arXiv arXiv:2304.07583 (2023).
  5. Путц, Флориан и др. «Фундаментальная модель Segment Anything обеспечивает оптимальную точность аутосегментации опухоли головного мозга на МРТ для поддержки планирования лечения лучевой терапией». препринт arXiv arXiv:2304.07875 (2023).
  6. Ху, Чуанфэй и Синдэ Ли. «Когда Сэм встречает медицинские изображения: исследование сегмента любой модели (Сэм) на многофазной сегментации опухоли печени». препринт arXiv arXiv: 2304.08506 (2023 г.).
  7. Ши, Пейлун и др. «Основные модели общего зрения для медицинской визуализации: тематическое исследование модели сегмента чего-либо в медицинской сегментации с нулевым выстрелом». Диагностика 13.11 (2023): 1 947.