Контекст
Моя цель — обнаружить фотоэлектрические модули на наборе данных инфракрасных изображений, сделанных дроном. Я хочу улучшить обнаружение границ, чтобы мой алгоритм работал лучше. Обнаруженные и помеченные модули затем используются для обучения нейронной сети.
Набор данных
У меня есть несколько сотен снимков, сделанных в разное время и с разной высоты. Я предполагаю, что их качество не идеально - условия окружающей среды могли бы быть лучше, например:
высота - иногда края между модулями не совпадают, изображения можно было делать с меньшей высоты, чтобы края были лучше видны.
время захвата — иногда фон (трава) очень горячий. Скорее всего, снимки могли быть сделаны поздним утром/ранним днем.
Тем не менее, я должен придерживаться того, что у меня есть.
Как вы можете видеть иногда (например, image_3) средняя линия едва видна.
Код
Предварительная обработка ниже основана на проекте, который я нашел на Github. Используется стандартная предварительная обработка и обнаружение Canny Edge.
import cv2
import numpy as np
def detect_edges():
# image_path = "data/stackoverflow/TEMP_DJI_1_R (715).JPG"
# image_path = "data/stackoverflow/TEMP_DJI_6_R (720).JPG"
image_path = "data/stackoverflow/TEMP_DJI_5_R (657).JPG"
# read image
input_image = cv2.imread(image_path, cv2.IMREAD_COLOR)
cv2.imshow('input_image', input_image)
# scale image
image_scaling = 11.0
scaled_image_rgb = cv2.resize(src=input_image, dsize=(0, 0), fx=image_scaling, fy=image_scaling)
cv2.imshow('scaled_image', scaled_image_rgb)
# blur image
gaussian_blur = 7
blurred_image = cv2.blur(scaled_image_rgb, (gaussian_blur, gaussian_blur))
cv2.imshow('blurred_image', blurred_image)
# gray image
grayed_image = cv2.cvtColor(scaled_image_rgb, cv2.COLOR_BGR2GRAY)
cv2.imshow('grayed_image', grayed_image)
# red threshold
red_threshold = 120
red_channel = scaled_image_rgb[:, :, 2]
_, thresholded_image = cv2.threshold(red_channel, red_threshold, 255, 0, cv2.THRESH_BINARY)
# dilation and erosion
kernel = cv2.getStructuringElement(cv2.MORPH_RECT, (9, 9))
closing = cv2.morphologyEx(thresholded_image, cv2.MORPH_CLOSE, kernel)
opening = cv2.morphologyEx(closing, cv2.MORPH_OPEN, kernel)
# min area
min_area = 250 * 200
contours, hierarchy = cv2.findContours(opening, cv2.RETR_TREE, cv2.CHAIN_APPROX_SIMPLE)
areas = [cv2.contourArea(contour) for contour in contours]
discarded_contours = [area < min_area for area in areas]
contours = [contours[i] for i in range(len(contours)) if not discarded_contours[i]]
mask = np.zeros_like(grayed_image)
cv2.drawContours(mask, contours, -1, (255), cv2.FILLED)
mask = cv2.dilate(mask, kernel, iterations=5)
mask = cv2.blur(mask, (25, 25))
mask = mask.astype(np.float) / 255.
preprocessed_image = (grayed_image * mask).astype(np.uint8)
cv2.imshow('preprocessed_image', preprocessed_image)
hysteresis_min_thresh = 25
hysteresis_max_thresh = 40
# canny edge
canny_image = cv2.Canny(image=preprocessed_image, threshold1=hysteresis_min_thresh,
threshold2=hysteresis_max_thresh, apertureSize=3)
cv2.imshow('canny_image', canny_image)
cv2.waitKey()
Результаты
Результаты неплохие, однако перед дальнейшей обработкой их необходимо улучшить.
Какими операциями лучше всего отличить панели от фона (травы)?
В случае изображений с едва заметными средними линиями (image_3) есть ли шанс найти этот внутренний край? Может быть, для этих изображений мне лучше сосредоточиться на поиске только внешних краев и провести искусственную линию посередине, чтобы разделить всю панель на две части?
