Задний план

CNN были первоначально исследованы Д.Х. Хьюбелем и Т.Н. Визеля, который изучал то, как млекопитающие визуально воспринимают мир, используя многоуровневую архитектуру нейронов. Зрительная кора млекопитающих визуализирует объекты с помощью иерархической структуры признаков, которые формулируются на основе входных стимулов (таких как ориентированные края и пространственная инвариантность). Это вдохновило на создание аналогичной системы для компьютерного зрения. Часть входного изображения, поступающего через рецептивное поле, и его данные итеративно проходят через слои. Для каждого слоя применяется ряд скалярных произведений между весовыми матрицами и его входом, и на каждом слое выполняется ряд операций. Первый набор слоев идентифицирует особенности изображения, в то время как хвостовой конец классифицирует функции. Идентификация признаков осуществляется путем применения трех операций. Сначала применяются свертка и ReLu (выпрямленная линейная единица), а затем выполняется объединение, как показано ниже:

Затем выходные данные выравниваются до вектора меньшего размера, а затем применяется полностью связанный слой, чтобы включить все полученные знания. Таким образом, все нейроны каждого слоя теперь подключены к следующему. Затем каждое значение передается через функцию softmax (или, в некоторых случаях, слой регрессии), которая выводит набор значений вероятности. Затем максимальное значение вероятности для класса используется для классификации изображения, поэтому максимальная вероятность используется для обучения сети.

Хорошо обученные CNN способны достичь эталонной производительности, как показано на предыдущих соревнованиях ImageNET. Различные архитектуры CNN имеют разные возможности для определения характеристик изображения. В области рентгенографии и медицинской визуализации CNN использовались для следующих целей:

  • Ткань/анатомия/поражение/сегментация
  • Классификация расстройств
  • Обнаружение и классификация поражений/опухолей
  • Прогноз выживаемости/активности болезни/развития
  • Построение/улучшение изображения
  • Сегментация анатомических структур и органов
  • Выявление аномалий и заболеваний
  • Обнаружение, сегментация и классификация ядра

Трансферное обучение

Знания, полученные от нейронной сети, можно перенести и применить к отдельной задаче. Например, если нейронная сеть научилась идентифицировать объекты на изображениях, такие как поражения, эти знания можно использовать для идентификации других объектов в рентгенологической диагностике. Как правило, ранние уровни CNN изучают основные функции распознавания изображений, которые можно применять повсеместно, тогда как более поздние уровни становятся более детализированными и специфичными, что потенциально ограничивает использование CNN той областью, для которой она была обучена. Трансферное обучение работает путем удаления последнего выходного слоя из исходной нейронной сети, а затем изменения выходного слоя для предсказания чего-то нового. Затем нейронная сеть переобучается на новом наборе данных, используя случайно инициализированные веса. Визуализация активации CNN для немедицинских изображений для медицинских изображений может быть ценной. Если CNN всесторонне обучена на большом наборе данных изображений, она все равно может быть эффективной для повышения эффективности достаточно точных задач распознавания изображений.

CNN и трансферное обучение в области здравоохранения

Как доказали Шин и др., стратегия трансферного обучения дает успешные результаты. Кроме того, при использовании трансферного обучения в представлении CNN положительные результаты можно увидеть в модальностях медицинских изображений при КТ и МРТ. Другой пример трансферного обучения был предложен Ю и соавторами, которые предположили, что трансферное обучение можно использовать для решения проблемы отсутствия доступных помеченных медицинских изображений для конкретной области. Более ранние уровни глубоких CNN, которые были предварительно обучены на миллионах изображений в ImageNet, были исправлены для сохранения общих характеристик изображений, в то время как слои более высокого уровня были переобучены на наборах медицинских изображений (тысячи изображений) с целью характеристики характеристик модальности изображений. Архитектуры CNN были предварительно обучены, а последний полносвязный слой был заменен 30 нейронами, обученными на медицинских изображениях. На основе этого подхода были достигнуты приемлемые результаты 87,37%.

Также… Точная настройка

Точная настройка — это еще один тип трансферного обучения, который используется при распознавании медицинских изображений. В то время как трансферное обучение просто подключает предварительно обученную нейронную сеть, точная настройка вносит изменения в предварительно обученную сеть, чтобы сделать ее более адаптируемой и пригодной для использования для используемого набора данных, например, ограничивая классификацию объектов, чтобы она использовалась только в области медицинских изображений. . Таджбахш и др. доказать, что точная настройка предварительно обученных CNN может иметь лучшую точность прогнозирования, чем (или такую ​​​​же, как) создание CNN с нуля. Эта гипотеза была проверена на четырех приложениях:

  1. Обнаружение полипов на видео колоноскопии
  2. Оценка качества изображения в видео колоноскопии
  3. Выявление тромбоэмболии легочной артерии на изображениях компьютерной томографии
  4. Сегментация границ интима-медиа на ультразвуковых изображениях.

Результаты показали, что неглубокая настройка предварительно обученных CNN была не такой успешной, как полностью обученные CNN. Однако в случае более глубокой тонкой настройки производительность была аналогичной, а в некоторых случаях даже лучше, чем у СНС, обученных с нуля. Точно настроенные CNN работали сравнительно лучше, чем те, которые были обучены с нуля, когда размер обучающих наборов был уменьшен. Еще одним интересным наблюдением, которое было отмечено, была скорость сходимости, которая была выше для точно настроенных CNN, чем для обученных с нуля:

Таким образом, исследования показывают, что точная настройка может дать достаточно положительные результаты при переносе предварительно обученных CNN на общую базу данных изображений и точной настройке ее на набор изображений для определенного домена. Эта стратегия может быть особенно полезной в сценариях, где имеется дефицит помеченных изображений, доступных для обучения новой нейронной сети. Применение CNN не ограничено в том смысле, что исследования применялись ко многим типам модальностей медицинских изображений, включая трехмерные объемы, которые анализируются послойно. Этот процесс эффективен в полевых условиях, поскольку большинство аномалий «выпирают» на хорошо обученных моделях и могут быть более четкими при данном обследовании.

Источники:

Хьюбел, Дэвид Х. и Торстен Н. Визель. «Рецептивные поля и функциональная архитектура полосатой коры обезьяны». Журнал физиологии 195.1 (1968): 215–243.

Сверточные нейронные сети, Mathworks.com https://www.mathworks.com/discovery/ convolutional-neural-network.html [Проверено 21 февраля 2018 г.].

О. Russakovsky et al., «Проблема визуального распознавания большого масштаба ImageNet», Int. Дж. Вычисл. Вис., т. 2, с. 115, нет. 3, стр. 211–252, 2015 г.

Х. К. Шин и др., «Глубокие сверточные нейронные сети для компьютерного обнаружения: характеристики набора данных архитектуры Cnn и передача обучения», IEEE Trans. Мед. Имаг., вып. 35, нет. 5, стр. 1285–1298, май 2016 г.

Ю, Ю.; Лин, Х .; Мэн, Дж .; Вэй, X .; Го, Х .; Чжао, З. Глубокое трансферное обучение для классификации модальностей медицинских изображений. Информация2017, 8, 91.

Сверточные нейронные сети для анализа медицинских изображений: полное обучение или тонкая настройка? Нима Таджбахш, Джэ Ю. Шин, Сурьякант Р. Гуруду, Р. Тодд Херст, Кристофер Б. Кендалл, Майкл Б. Готвей, Цзяньмин Лян