Сегментация
Целью сегментации является разделение пикселей цифрового изображения на разные части, т. е. сегменты. Каждый отдельный сегмент представляет отдельный тип структуры. Сегментация изображения — важный процесс цифровой обработки изображений на компьютере. В медицинской визуализации сегментация изображения используется для извлечения из изображений клинически значимой информации, что позволяет, например, рентгенологам использовать сегментированное изображение в различных органах или типах тканей. Кроме того, компьютерам легче анализировать предварительно сегментированные изображения, анализируя только сегментированную область. Результат сегментации может быть представлен в виде сегментов изображения, покрывающих интересующую область изображения (рис. 3), или в виде контуров, отделенных от сегментированного изображения (рис. 2). Грудь, грудные мышцы, кожные складки и область сосков, описанные в разных сегментах, можно различить на изображении батареи маммографии (рис. 2). Области интереса, которые необходимо сегментировать, зависят от диагностической задачи. Сегментированную грудную мышцу можно использовать для оценки области железистой ткани, где обычно возникает рак молочной железы. Сегментация грудной мышцы перед маммографическим анализом автоматически является важным процессом, поскольку грудная мышца имеет плотную ткань, которая по структуре может напоминать грудную массу. Следовательно, сбой сегментации может привести к большему количеству ложноположительных результатов в лекциях по маммографическим изображениям. Плохое расположение грудной клетки можно определить по расположению сегментированного соска на маммограммах. Кроме того, искажения изображения, вызванные кожными складками, могут ухудшить качество маммографического изображения, поскольку они могут показаться ненормальными, что может привести к ошибкам интерпретации. Для устранения этих искажений изображения можно использовать метод удаления морщин кожи.
Глубокое обучение
В последнее время модели глубокого обучения получили огромное развитие, и многие новые методы были разработаны специально для сегментации цифровых изображений. Хорошим примером этого является сверточная транссеть U-Net, разработанная для сегментации биомедицинских изображений. Архитектура U-Net имеет несколько слоев различных математических операций (операции свертки, функции активации ReLU и операции максимального объединения), которые можно рассматривать слой за слоем, чтобы добавлять интересные функции из изображения при одновременном сокращении пространственной информации изображения (практически Размер изображения). Далее следует новая серия различных математических операций (up-convolutions), чтобы пропустить соединение признаков, найденных в предыдущих слоях, и восстановить пространственную информацию изображения (сегментируемое изображение возвращается к исходному размеру). В результате из сети получается сегментированное изображение. Таким образом, сеть обучается с помощью пар изображений (рис. 3), и для обеспечения хорошей обобщаемости модели требуется большое количество таких обучающих данных. Архитектура U-Net сегментирует изображение размером 512×512 с помощью современной видеокарты менее чем за секунду.
Сегментация маммограммы
Сегментация маммограмм важна, например, для того, чтобы отличить грудь от других структур, таких как грудная мышца. Сегментация может быть выполнена с помощью нейронной сети с глубоким обучением, когда сеть обучается на аннотированных обучающих данных, т.е. сети предоставляются предварительно сегментированные изображения (исходные изображения и маски, представляющие готовую сегментацию, изображение 1 и изображение 3). Однако для применения углубленной сети заработка требуются аннотированные обучающие данные (изображения и маски, изображение 1 и изображение 3), чтобы можно было научить углубленную нейронную сеть сегментировать. Методы мультиклассовой сегментации можно использовать для сегментации различных категорий, т. е. для одновременного выделения нескольких различных структур. Маски сегментации, необходимые для обучения, должны быть сделаны вручную, и для этой работы есть готовые инструменты для аннотаций, такие как программное обеспечение для аннотаций CVAT. Программное обеспечение для аннотаций CVAT — это бесплатный и очень простой символьный инструмент, который можно использовать для создания масок (рис. 2). Грудная клетка содержит различные тканевые структуры, поэтому для обучения модели обычно аннотируют несколько сегментированных масок (рис. 3). После обучения углубленной нейронной сети тканевые структуры, отображаемые на маммографическом изображении, могут быть автоматически сегментированы на различные участки. Кроме того, методы глубокого обучения могут точно сегментировать складки кожи, а также соски, которые очень сложно сегментировать с помощью традиционных методов без глубокого обучения.
Рекомендуемое чтение:
Обзор методов глубокого обучения, применяемых к семантической сегментации
Сегментация областей молочной железы на маммограмме по плотности: обзор
