Вычисление матрицы гомографии с использованием произвольных известных геометрических соотношений

Этот вопрос довольно старый, но он интересен и может быть кому-то полезен.

Во-первых, вот как я понял проблему, изложенную в вопросе:

У вас есть два изображения I₁ и I₂, полученные одной и той же цифровой камерой в двух разных положениях. На обоих изображениях показан набор маркеров, лежащих в общей плоскости p_m. Также имеется измеряемый объект, видимая поверхность которого лежит в плоскости p_o, параллельной плоскости маркера, но с небольшим смещением. Вы вычислили гомографию H^m₁₂, сопоставив позиции маркеров в I₁ с соответствующими позициями маркеров в I₂ и вы измерили смещение d_mo между плоскостями p_o и p_m. Исходя из этого, вы хотите рассчитать гомографию H^o₁₂, отображающую точки измеряемого объекта в I₁ в соответствующие точки в I< под>2.

Несколько замечаний по этой проблеме:

Во-первых, обратите внимание, что гомография — это отношение между точками изображения, тогда как расстояние между плоскостью маркеров и плоскостью объекта — это расстояние в мировых координатах. Использование последнего для вывода о первом требует метрической оценки положения камеры, т. е. необходимо определить евклидиан и максимум относительное положение и ориентация камеры для каждого из двух изображений. Требование евклидова подразумевает, что цифровая камера должна быть откалибрована, что не должно быть проблемой для «оптической измерительной системы». Требование в масштабе подразумевает, что истинное трехмерное расстояние между двумя заданными трехмерными точками должно быть известно. Например, вам нужно знать истинное расстояние l₀ между двумя произвольными маркерами.

Поскольку нам нужна только относительная поза камеры для каждого изображения, мы можем использовать трехмерную систему координат, центрированную и выровненную с системой координат камеры для I₁. . Следовательно, мы будем обозначать матрицу проекции для I₁ как P₁ = K₁ * [ I | 0]. Затем мы обозначаем матрицу проекции для I₂ (в той же трехмерной системе координат) как P₂ = K₂ * [ R₂ | т₂]. Обозначим также через D₁ и D₂ коэффициенты, моделирующие дисторсию объектива соответственно для I₁ и I₂ .

Поскольку одна цифровая камера зафиксировала как I₁, так и I₂, вы можете предположить, что K₁ = K₂ = K и D₁ = D₂ = D. Однако, если I₁ и I₂ были получены с большая задержка между захватами (или с другим зумом и т.п.), то правильнее будет считать, что задействованы две разные матрицы камер и два набора коэффициентов дисторсии.

Вот как можно решить такую ​​проблему:

Шаги для оценки P₁ и P₂ следующие:

1. Оценить K₁, K₂ и D₁, D₂ с помощью калибровки цифровой камеры

2. Используйте D₁ и D₂, чтобы скорректировать изображения I₁ и I₂ для искажения объектива, затем определите маркер позиции в исправленных изображениях

3. Вычислите фундаментальную матрицу F₁₂ (сопоставление точек в I₁ эпилиням в I₂) по позициям соответствующих маркеров и выведите основную матрицу E ₁₂ = K₂^T * F₁₂ * K₁

4. Выведите R₂ и t₂ из E₁₂ и одноточечного соответствия (см. этот ответ на соответствующий вопрос). На данный момент у вас есть аффинная оценка позы камеры, но не масштабная оценка, так как t₂ имеет единичную норму .

5. Используйте измеренное расстояние l₀ между двумя произвольными маркерами, чтобы вывести правильную норму для t₂.

6. Для наилучшей точности вы можете уточнить P₁ и P₂, используя настройку пакета с K₁ и ||t_2. || фиксировано на основе соответствующих позиций маркеров в I₁ и I₂.

На данный момент у вас есть точная метрическая оценка поз камеры P₁ = K₁ * [ I | 0 ] и P₂ = K₂ * [ R₂ | т₂]. Теперь шаги для оценки H^o₁₂ следующие:

7. Используйте D₁ и D₂, чтобы скорректировать изображения I₁ и I₂ для искажения объектива, затем определите маркер позиции в исправленных изображениях (то же, что и 2. выше, нет необходимости делать это повторно) и оценить H^m₁₂ из этих соответствующих позиций

8. Вычислите вектор 3x1 v, описывающий плоскость маркеров p_m, решив следующее линейное уравнение: Z * H^m₁₂ = K₂ * ( R₂ - t₂ * v^T ) * K₁^{- 1} (см. HZ00, глава 13, результат 13.5 и уравнение 13.2 для справки по этому вопросу), где Z — коэффициент масштабирования. Определите расстояние до начала координат d_m = ||v|| и нормали n = v / ||v||, которые описывают плоскость маркеров p_m в 3D.

9. Так как плоскость объекта p_o параллельна p_m, они имеют одинаковые нормаль n. Следовательно, вы можете вывести расстояние до начала координат d_o для p_o по расстоянию до начала координат d_m для p_m. sub> и от измеренного смещения плоскости d_mo следующим образом: d_o = d_m ± d_mo (знак зависит от взаимного расположения плоскостей: положительный, если p_m ближе к камере для I₁, чем p_o, отрицательный иначе).

10. Из n и d_o, описывающих плоскость объекта в 3D, сделайте вывод о гомографии H^o₁₂ = K₂ * ( R₂ - t₂ * n^T / d_o ) * K₁ >^-1 (см. HZ00, глава 13, уравнение 13.2)

11. Гомография H^o₁₂ сопоставляет точки измеряемого объекта в I₁ с соответствующими точками в I₂, где предполагается, что и I₁, и I₂ скорректированы для искажения объектива. Если вам нужно сопоставить точки с исходным искаженным изображением и с ним, не забудьте использовать коэффициенты искажения D₁ и D₂ для преобразования входных и выходных точек Н^о₁₂.

Ссылка, которую я использовал:

[HZ00] «Геометрия с несколькими представлениями для компьютерного зрения», Р. Хартли и А. Зиссерман, 2000 г.