【图像】【OpenCV鱼眼矫正】一、 主要API解读

目录

  • 一、代码流程
    • 1. fisheye::calibrate();
    • 2. fisheye::initUndistortRectifyMap();
    • 3. remap()

一、代码流程

用OpenCV进行鱼眼相机矫正的代码很多,大家可以上网搜索,也可以下载博主的代码。

但是,不管参考哪家程序,用到的主要API总是这三个:

- fisheye::calibrate();  //标定相机,获取内参、外参、畸变系数   
- fisheye::initUndistortRectifyMap();  //利用内参和畸变系数,获取重投影矩阵
- remap(); //根据重投影矩阵,对畸变图像进行重投影,获得矫正图

下面将简要介绍各函数的功能。

1. fisheye::calibrate();

fisheye::calibrate函数在OpenCV中的声明如下:

double cv::fisheye::calibrate	(	InputArrayOfArrays 	  objectPoints,
									InputArrayOfArrays 	  imagePoints,
									const Size & 	      image_size,
									InputOutputArray 	  K,
									InputOutputArray 	  D,
									OutputArrayOfArrays   rvecs,
									OutputArrayOfArrays   tvecs,
									int 		          flags = 0,
									TermCriteria 	      criteria = TermCriteria(TermCriteria::COUNT+TermCriteria::EPS, 100, DBL_EPSILON) 
)	

其中各形参的作用在网上有很多文章介绍,本文不再赘述。

这里只简单介绍其输入输出

输入:

  • 一幅/多幅产生鱼眼畸变的棋盘格图像
  • 其他参数

输出:

  • 内参K
  • 旋转向量rvecs
  • 平移向量tvecs
  • 畸变系数D

关于相机内参、外参(旋转向量+平移向量)的作用,请读者上网学习世界坐标系、相机坐标系、图像坐标系、像素坐标系之间的转换关系,本文也不再赘述。

这里只给出如下公式:

以上公式是对一个正常的、无畸变的相机所成立的,因此没有用到畸变系数D

而鱼眼相机的畸变,就发生在相机坐标系像素坐标系的转换过程中。

2. fisheye::initUndistortRectifyMap();

fisheye::initUndistortRectifyMap()的作用是根据无畸变图的像素位置(i, j),推出它对应的畸变图中的像素位置(x, y),然后把畸变图中的(x, y)复制到新图中的(i, j),就得到了矫正图像。

fisheye::initUndistortRectifyMap()函数在OpenCV中的声明如下:

void cv::fisheye::initUndistortRectifyMap	(	InputArray 	K,
												InputArray 	D,
												InputArray 	R,
												InputArray 	P,
												const cv::Size & 	size,
												int 	m1type,
												OutputArray 	map1,
												OutputArray 	map2 
)	

其中各形参的作用在网上有很多文章介绍,本文不再赘述。

这里只简单介绍其输入输出

输入:

  • 内参矩阵K
  • 畸变系数D
  • R并非旋转向量/矩阵,矫正单目鱼眼相机时,R默认为单位矩阵
  • 若想使矫正后图片对应的内参与原相机内参不同,则把P设为新内参;否则,P与原内参相同
  • 输出矩阵map1的类型m1type
  • 其他参数

输出:

  • map1
  • map2

我们通常把参数m1type设为CV_16SC2时,此时最重要的输出是map1

根据CV_16SC2,map1此时是一个2通道的矩阵,每个点(i, j)都是一个2维向量,包含:

  • (i, j) [0]
  • (i, j) [1]

现在,我们令x = map1(i, j)[0], y= map1(i, j)[1]

那么,ijxy的含义是:

畸变图中坐标为(x, y)的像素点,在无畸变图中应该处于(i, j)位置。

这样,把畸变图(x, y)处的像素复制到(i, j)处,就得到了矫正后的图像。

即如下图所示:

【图像】【OpenCV鱼眼矫正】一、 主要API解读_第1张图片

而此时的map2是为了做插值、让矫正后图像更清晰而用,本文不做介绍。


注:

若把参数m1type设为CV_32FC1,则此时map1不再是二通道矩阵,而是一通道矩阵

此时map1保存m1typeCV_16SC2map10通道,map2保存m1typeCV_16SC2map11通道。

即,此时令x = map1(i, j),y = map2(i, j),那么才有:

畸变图中坐标为(x, y)的像素点,在无畸变图中应该处于(i, j)位置。


3. remap()

remap()函数在OpenCV中的声明如下:

void cv::remap	(	InputArray 	src,
OutputArray 	dst,
InputArray 	map1,
InputArray 	map2,
int 	interpolation,
int 	borderMode = BORDER_CONSTANT,
const Scalar & 	borderValue = Scalar() 
)	

其中各形参的作用在网上有很多文章介绍,本文不再赘述。

这里只简单介绍其输入输出

输入:

  • 鱼眼畸变图src
  • map1
  • map2
  • 其他参数

输出:

  • 矫正后的图像dst

remap()函数其实就是根据fisheye::initUndistortRectifyMap()生成的map1,如本文在上图中描述的那样,把畸变图src中坐标为(map1(i, j)[0], map1(i, j)[1])的点投影到输出图像dst的(i, j)处;再根据map2做一些清晰化处理,就完成了矫正。

你可能感兴趣的:(图像,计算机视觉,opencv)