Обнаружение дефектов сварки в стальных листах с помощью алгоритмов компьютерного зрения

Введение
Предпосылки
Сегментация изображений
Моменты изображения
Понимание данных
Используемый метод и алгоритм
Результаты
Вывод
Соавторы
использованная литература

1. Введение

Дефекты сварки можно определить как неровности поверхности сварного шва, неоднородности, дефекты или несоответствия, которые возникают в свариваемых деталях. Дефекты сварных соединений могут привести к браку деталей и узлов, дорогостоящему ремонту, значительному снижению производительности в рабочих условиях и, в крайних случаях, к катастрофическим отказам с материальным ущербом и потерей жизни.

Кроме того, сварка всегда имеет определенные недостатки из-за недостатков технологии сварки и свойств металлов.

Важно оценить качество сварного шва, поскольку сварные соединения часто являются местами возникновения трещин из-за внутренних металлургических геометрических дефектов, а также неоднородности механических свойств и наличия остаточных напряжений.

На практике практически невозможно получить идеальный сварной шов, и в большинстве случаев нет необходимости обеспечивать необходимые сервисные функции. Однако раннее обнаружение и изоляция всегда предпочтительнее неудач.

Используя наши алгоритмы, мы можем легко обнаружить дефекты сварки по изображениям, а также точно измерить серьезность каждого дефекта. Это еще больше поможет ускорить распознавание изображений и избежать возникновения неблагоприятных ситуаций.

Это было обнаружено с использованием алгоритма сверточных нейронных сетей и архитектуры U-Net, что сделало процесс намного более эффективным. Результат по окончанию работы с точностью 98,3%.

2. Предпосылки

Базовое понимание машинного обучения
Основная идея сверточных нейронных сетей
Понимание операций свертки, максимального объединения и выборки
Идея архитектуры U-Net
Базовое понимание пропуска соединений, как в остаточных блоках (необязательно)
Практическое знание ConvNets с библиотекой Python, TensorFlow и Keras (необязательно)

3. Сегментация изображений

Сегментация разделяет изображение на отдельные области, содержащие пиксели со схожими атрибутами. Чтобы быть значимыми и полезными для анализа и интерпретации изображений, области должны быть тесно связаны с изображенными объектами или интересующими особенностями.

Успех анализа изображения зависит от надежности сегментации, но точное разбиение изображения, как правило, является очень сложной задачей.

4. Моменты изображения

Момент изображения - это определенное средневзвешенное значение яркости пикселей изображения. Моменты изображения полезны для описания объектов после сегментации.

Простые свойства изображения, которые можно найти через моменты изображения, включают:

Площадь (или общая интенсивность)
Центроид
Информация о его ориентации.

5. Понимание данных

Набор данных состоит из двух справочников. Необработанные изображения хранятся в каталоге images, а сегментированные изображения - в каталоге labels.

Давайте визуализируем данные:

Эти необработанные изображения выше представляют собой изображения RGB, которые необходимо использовать для обучения модели, а также для тестирования модели. Эти изображения различаются по размеру. Интуитивно понятно, что более темные участки - это дефекты сварки. Модель должна выполнить сегментацию изображений для этих изображений.

Эти изображения из каталога «label» являются двоичными изображениями или метками наземной действительности. Это то, что наша модель должна предсказать для данного необработанного изображения. В двоичных изображениях пиксели имеют «высокое» или «низкое» значение. Белая область или «высокие» значения обозначают дефектные области, а черная область или «низкие» значения означают отсутствие дефекта.

6. Используемый метод и алгоритм

Архитектура, которую мы собираемся использовать для решения этой задачи, - это U-Net. Мы собираемся обнаружить неисправности и измерить серьезность этих сварочных изображений в три основных этапа:

Сегментация изображений
Отображение степени серьезности с помощью цвета
Измерение серьезности с помощью моментов изображения

Обучение модели

Ниже представлена архитектура U-Net, которую мы использовали для нашей модели:

На заметку:

Каждое синее поле соответствует карте многоканальных функций.
Количество каналов указано в верхней части окна.
Размеры (x, y) указаны в нижнем левом углу поля.
Стрелками обозначены разные операции.
Имя слоя указывается под слоем.
C1, C2,…. C7 - выходные слои после сверточной операции.
P1, P2, P3 - выходные уровни операции Max Pooling.
U1, U2, U3 - выходные уровни операции повышающей дискретизации.
A1, A2, A3 - пропускные соединения.
Левая часть - это путь сжатия, где применяются регулярные свертки и операции максимального объединения.
Размер изображения постепенно уменьшается, а глубина постепенно увеличивается.
Правая часть - это путь расширения, где применяются транспонированные свертки (Up Sampling) вместе с обычными операциями сверток.
На пути расширения размер изображения постепенно увеличивается, а глубина постепенно уменьшается.
Чтобы получить более точные местоположения, на каждом этапе расширения мы используем пропускные соединения, объединяя выходные данные транспонированных сверточных слоев с картами функций из кодировщика на том же уровне:
A1 = U1 + C3
A2 = U2 + C2
A3 = U3 + C1
После каждой конкатенации мы снова применяем регулярные свертки, чтобы модель могла научиться собирать более точные выходные данные.

Модель скомпилирована с помощью оптимизатора Adam, и мы используем двоичную функцию перекрестной потери энтропии, поскольку существует только два класса (дефекты и отсутствие дефектов).

Мы используем размер пакета 10 со 100 эпохами (количество запусков модели для всех входных данных).

Обратите внимание, что существует множество возможностей для настройки этих гиперпараметров и дальнейшего улучшения производительности модели.

Тестирование модели

Поскольку модель принимает входные данные размером 512x512x3, мы изменили размер входных данных до этого измерения. Затем мы нормализовали изображение, разделив его на 255 для более быстрых вычислений.

Изображение было загружено в модель для прогнозирования двоичного выхода. Чтобы усилить яркость пикселей, двоичный выходной сигнал был умножен на 1000.

Затем изображение преобразуется в 16-битное целое число для упрощения манипуляций с изображением. После чего алгоритм обнаруживает дефекты и визуально отмечает их серьезность с помощью цветокоррекции, а также присваивает вес пикселям с дефектами в зависимости от их серьезности. Затем для этого изображения рассчитывается момент изображения с учетом взвешенных пикселей.

Наконец, изображение преобразуется обратно в 8-битное целое число, и выходное изображение отображается с градацией цвета и его значением серьезности.

7. Результаты

Визуальный показатель, который мы используем для определения серьезности, - это цвета.

На изображении цвета:

Зеленым цветом обозначены участки с серьезными дефектами.
Синий цвет соответствует участкам с более серьезными дефектами.
Красные области показывают самые серьезные дефекты.

0-й момент отображается в процентах рядом с выходным изображением в качестве эмпирической меры серьезности.

Ниже приведены три случайных образца, которые показывают необработанные входные данные, основную истину и выходные данные, сгенерированные нашей моделью.