【图像】【OpenCV鱼眼矫正】一、 主要API解读

一、代码流程

用OpenCV进行鱼眼相机矫正的代码很多，大家可以上网搜索，也可以下载博主的代码。

但是，不管参考哪家程序，用到的主要API总是这三个：

- fisheye::calibrate();  //标定相机，获取内参、外参、畸变系数   
- fisheye::initUndistortRectifyMap();  //利用内参和畸变系数，获取重投影矩阵
- remap(); //根据重投影矩阵，对畸变图像进行重投影，获得矫正图

下面将简要介绍各函数的功能。

1. fisheye::calibrate();

fisheye::calibrate函数在OpenCV中的声明如下：

double cv::fisheye::calibrate	(	InputArrayOfArrays 	  objectPoints,
									InputArrayOfArrays 	  imagePoints,
									const Size & 	      image_size,
									InputOutputArray 	  K,
									InputOutputArray 	  D,
									OutputArrayOfArrays   rvecs,
									OutputArrayOfArrays   tvecs,
									int 		          flags = 0,
									TermCriteria 	      criteria = TermCriteria(TermCriteria::COUNT+TermCriteria::EPS, 100, DBL_EPSILON) 
)	

其中各形参的作用在网上有很多文章介绍，本文不再赘述。

这里只简单介绍其输入输出：

输入：

• 一幅/多幅产生鱼眼畸变的棋盘格图像
• 其他参数

输出：

• 内参K
• 旋转向量rvecs
• 平移向量tvecs
• 畸变系数D

关于相机内参、外参(旋转向量+平移向量)的作用，请读者上网学习世界坐标系、相机坐标系、图像坐标系、像素坐标系之间的转换关系，本文也不再赘述。

这里只给出如下公式：

以上公式是对一个正常的、无畸变的相机所成立的，因此没有用到畸变系数D。

而鱼眼相机的畸变，就发生在相机坐标系到像素坐标系的转换过程中。

2. fisheye::initUndistortRectifyMap();

fisheye::initUndistortRectifyMap()的作用是根据无畸变图的像素位置(i, j)，推出它对应的畸变图中的像素位置(x, y)，然后把畸变图中的(x, y)复制到新图中的(i, j)，就得到了矫正图像。

fisheye::initUndistortRectifyMap()函数在OpenCV中的声明如下：

void cv::fisheye::initUndistortRectifyMap	(	InputArray 	K,
												InputArray 	D,
												InputArray 	R,
												InputArray 	P,
												const cv::Size & 	size,
												int 	m1type,
												OutputArray 	map1,
												OutputArray 	map2 
)	

其中各形参的作用在网上有很多文章介绍，本文不再赘述。

这里只简单介绍其输入输出：

输入：

• 内参矩阵K
• 畸变系数D
• R并非旋转向量/矩阵，矫正单目鱼眼相机时，R默认为单位矩阵
• 若想使矫正后图片对应的内参与原相机内参不同，则把P设为新内参；否则，P与原内参相同
• 输出矩阵map1的类型m1type
• 其他参数

输出：

• map1
• map2

我们通常把参数m1type设为CV_16SC2时，此时最重要的输出是map1：

根据CV_16SC2，map1此时是一个2通道的矩阵，每个点(i, j)都是一个2维向量，包含：

• (i, j) [0]
• (i, j) [1]

现在，我们令x = map1(i, j)[0], y= map1(i, j)[1]。

那么，i和j、x和y的含义是：

畸变图中坐标为(x, y)的像素点，在无畸变图中应该处于(i, j)位置。

这样，把畸变图(x, y)处的像素复制到(i, j)处，就得到了矫正后的图像。

即如下图所示：

而此时的map2是为了做插值、让矫正后图像更清晰而用，本文不做介绍。

---

注：

若把参数m1type设为CV_32FC1，则此时map1不再是二通道矩阵，而是一通道矩阵。

此时map1保存m1type为CV_16SC2时map1的0通道，map2保存m1type为CV_16SC2时map1的1通道。

即，此时令x = map1(i, j)，y = map2(i, j)，那么才有：

畸变图中坐标为(x, y)的像素点，在无畸变图中应该处于(i, j)位置。

---

3. remap()

remap()函数在OpenCV中的声明如下：

void cv::remap	(	InputArray 	src,
OutputArray 	dst,
InputArray 	map1,
InputArray 	map2,
int 	interpolation,
int 	borderMode = BORDER_CONSTANT,
const Scalar & 	borderValue = Scalar() 
)	

其中各形参的作用在网上有很多文章介绍，本文不再赘述。

这里只简单介绍其输入输出：

输入：

• 鱼眼畸变图src
• map1
• map2
• 其他参数

输出：

• 矫正后的图像dst

remap()函数其实就是根据fisheye::initUndistortRectifyMap()生成的map1，如本文在上图中描述的那样，把畸变图src中坐标为(map1(i, j)[0], map1(i, j)[1])的点投影到输出图像dst的(i, j)处；再根据map2做一些清晰化处理，就完成了矫正。