Стерео сопоставление с изображениями, снятыми разными камерами (разное поле обзора, точка обзора), не совмещено

Я пытаюсь получить глубину какого-то объекта в сцене, и я не хочу использовать какие-либо другие датчики, кроме камер (я могу использовать две камеры).

Итак, я думаю, что это должна быть проблема «соответствия стерео», и я планирую извлечь карту несоответствия из стереоизображений, чтобы получить информацию о глубине.

Но проблема в том, что у меня есть такие ограничения, как:

  1. Две камеры не совмещены. Все позиции (x, y, z) разные.
  2. У двух камер разное поле зрения. Один шире другого.
  3. Точки обзора двух камер разные.
  4. Две камеры имеют разное разрешение.

В этом случае возможно ли правильно выполнить стереосогласование? Если да, то как это возможно?

Я знаю, что для стерео согласования очень важны эпиполярная геометрия и фундаментальная матрица. Но насколько я знаю, основная матрица всегда принадлежит одной камере. Может ли связь между двумя основными матрицами от двух камер быть решением этой проблемы?

Спасибо.

--------------------------------- РЕДАКТИРОВАТЬ ---------------- ---------------------

Стерео изображение под разными камерами, разрешением, точкой обзора, FOV

Исправленное изображение

С помощью Stereo Camera Calibrator от MATLAB я получил stereoParams и выполнил исправление, используя его.

Но исправленное изображение слишком искажено, чтобы получить карту несоответствия.

Интересно, иду я правильно или нет.

Есть какие-нибудь предложения? Спасибо.


person 박진원    schedule 06.09.2016    source источник
comment
Если вы знаете расстояние между камерами, это должно быть возможно. Найдите необходимую матрицу и прочтите robots.ox.ac.uk/~vgg/hzbook   -  person Photon    schedule 06.09.2016
comment
Спасибо. Я отредактировал свой пост и добавил стерео изображение и исправленное изображение. Вы можете оставить мне отзыв?   -  person 박진원    schedule 13.09.2016


Ответы (1)


Да, это возможно. Поскольку ваши настройки стерео, ваши камеры и поле обзора отличаются, я думаю, вам сначала нужно выполнить калибровку камеры, после калибровки вы выполните исправление на своих изображениях, как показано ниже. Эпиполярный

После этого у вас будет обычная стереосистема с известной геометрией камеры. Тогда вы сможете извлечь различия. Здесь есть хороший учебник: Калибровка стероидов ROS

person MimSaad    schedule 06.09.2016
comment
Спасибо. Я отредактировал свой пост и добавил стерео изображение и исправленное изображение. Вы можете оставить мне отзыв? - person 박진원; 13.09.2016
comment
Похоже, вы сделали что-то не так с исправлением. Я редактирую свой пост и добавляю два исправленных изображения, чтобы дать вам подсказку. - person MimSaad; 14.09.2016