Микроскопические изображения широко используются для диагностики различных заболеваний, таких как инфекции и рак. Кроме того, они способствуют проведению фундаментальных биомедицинских исследований, которые постоянно позволяют по-новому взглянуть на причины болезней человека. Поэтому микроскопические изображения имеют большое значение для улучшения нашего здоровья. Однако получение высококачественных изображений в фокусе при микроскопии представляет собой одну из самых серьезных проблем в области микроскопии. Например, некоторые ткани, такие как легкие и кишечник, неровные, что может привести к расфокусированным изображениям. В этом посте мы решим эту проблему, используя глубокое обучение для перефокусировки расфокусированных микроскопических изображений. Другими словами, мы превратим расфокусированные микроскопические изображения в сфокусированные (см. Рисунок ниже) с помощью глубокого обучения.

Данные

Мы будем использовать набор изображений Broad Bioimage Benchmark Collection 006 (BBBC006), который был получен с одного 384-луночного микропланшета, содержащего человеческие клетки, ядра которых были помечены красителями Hoechst. Z-стек из 32 изображений (z = 16 в оптимальной фокальной плоскости, 15 изображений над фокальной плоскостью и 16 ниже) был взят для каждого из 768 полей зрения (384 лунки, 2 поля зрения на лунку).

Подход

Общая стратегия заключается в создании сверточной нейронной сети, которая принимает расфокусированные изображения в качестве входных и генерирует сфокусированные изображения в качестве выходных. Мы построим нашу нейронную сеть на архитектуре U-net. Кроме того, мы будем использовать потерю характеристик (первоначально названную потерю восприятия Джонсоном и др.) В качестве функции потерь для количественной оценки различий между выходным сигналом нейронной сети и соответствующим ей оптимальным изображением в фокальной плоскости. при z = 16, или мишень.

U-net

U-net был первоначально разработан Ronneberge et al. для задач сегментации биомедицинских изображений. U-net по существу состоит из трех компонентов: путь понижающей дискретизации, который уменьшает размер изображения, последующий путь повышающей дискретизации, который увеличивает размер изображения, и перекрестные соединения, которые передают активации от выбранных частей пути понижающей дискретизации к их соответствующим частям на пути повышающей дискретизации. Перекрестные соединения дополняют канал повышающей дискретизации информацией от канала понижающей дискретизации и являются основным изобретением, благодаря которому U-net работает так хорошо. Мы будем использовать ResNet -34, предварительно обученный на ImageNet, в качестве пути понижающей дискретизации, который использует технику, называемую трансферным обучением.

Потеря функции

Потеря функций помогает восстанавливать мелкие детали на изображениях и хорошо подходит для приложений передачи стилей и обработки изображений со сверхвысоким разрешением. Как показано на рисунке ниже, основная идея потери функций состоит в том, чтобы пропустить выходные данные и цель через одну и ту же модель ImageNet (VGG -16 в нашем случае), а затем сравнить их активации на выбранных промежуточных уровнях вместо последнего слоя.

Реализация с использованием fastai

Реализация нашей нейронной сети на основе U-net представляет собой просто одну строку кода с использованием библиотеки fastai, как показано ниже. Нам просто нужно предоставить данные, архитектуру понижающей дискретизации (ResNet-34), функцию потерь (потеря функций) и несколько дополнительных параметров.

Мы будем использовать реализацию функции потери возможностей Джереми Ховарда, как показано ниже:

Обучение и тестирование

Мы будем обучать нашу нейронную сеть с изображениями не в фокусе, которые находятся над фокальной плоскостью при z = 1 (худшее), 5 (промежуточное) и 10 (близко к сфокусированному), используя z = 16 как основная истина (y). Мы отложим небольшую часть этих изображений в качестве наборов для проверки и будем использовать их для руководства и оценки процесса обучения. После обучения мы будем дополнительно оценивать производительность модели на изображениях, не находящихся в фокусе, которые находятся ниже фокальной плоскости при z = 32. Хотя оба они не в фокусе, изображения, находящиеся выше или ниже фокальной плоскости самолеты выглядят по-разному, так как их расстояния до объектива разные. Следовательно, наша стратегия позволит нам проверить обобщаемость обученной модели.

Полученные результаты

Сначала мы оцениваем производительность нашей модели на проверочных наборах на различных уровнях вне фокуса. Как показано ниже, модель хорошо справляется с различением размытых ячеек, и производительность улучшается, если мы используем менее размытые изображения, как мы ожидали.

Затем мы исследовали производительность модели на тестовом наборе при z = 32. Как показано ниже, изображение, сгенерированное моделью, очень похоже на оптимальное изображение в фокальной плоскости при z = 16. Таким образом, наша модель обучена с изображениями, которые являются выше фокальной плоскости также хорошо работает с изображениями, которые находятся ниже фокальной плоскости.

Резюме и будущие направления

В общем, мы успешно построили нейронную сеть, которая перефокусирует размытые расфокусированные микроскопические изображения. Эта работа улучшает качество микроскопических изображений и облегчит изучение болезней человека. Из-за ограниченной вычислительной мощности я мог работать только с изображениями очень маленького размера (128 * 128). В идеале нейронная сеть должна уметь обрабатывать целые изображения слайдов, возможно, разделяя их на участки. Кроме того, нейронная сеть должна быть способна обрабатывать различные виды микроскопических изображений с разными пятнами. Наконец, мы можем включить нейронную сеть в платформы сбора данных, чтобы перефокусировать расфокусированные изображения в реальном времени и устранить необходимость в фиксации после получения.

Благодарности

Я хотел бы поблагодарить докторов. Паоле Марковеккио, Саре Макардл и Збигневу Микульски из основного центра визуализации Института иммунологии Ла-Хойя (LJI) за полезные обсуждения.