相机畸变矫正原理及代码实现

在视觉工程中，涉及到测量任务时，第一步就是对相机的畸变进行矫正。此篇博文首先对坐标系变换进行简介，之后介绍畸变矫正方法，最后给出OpenCV  C++的实现代码。

---

目录

一、坐标系简介

1、像素坐标系

2、图像坐标系

3、相机坐标系

4、世界坐标系

二、相机的内参和外参

三、图像的畸变和矫正

四、畸变矫正代码实现

       1、标定板图像采集

       2、角点检测 & 亚像素级校准

       3、完成相机标定

 

---

一、坐标系简介

在视觉应用中，总共有四个坐标系需要了解，分别是：像素坐标系(p)、图像坐标系(i)、相机坐标系(c)、世界坐标系(w)。我们将会从像素坐标系依次映射到世界坐标系。

1、像素坐标系

像素坐标系对于我们并不陌生，数字图像在计算机内部存储的形式类似于像素坐标系，如下图所示。图像中任意一点的坐标可以表示为：

2、图像坐标系

将像素坐标系的中心平移到中心，就得到了图像坐标系，此坐标系可以方便地反映出物体地尺寸信息。坐标系如下图所示：

设图像坐标系的中心为，相机中感光器件的尺寸为，则两坐标系之间的关系可表示为：

     

将其写成矩阵形式：

     

将偏移项纳入乘积项，转化为齐次坐标形式：

     

3、相机坐标系

相机坐标系算是比较难理解的一个。相机坐标系中心与图像坐标系中心的连线就是Z轴，x和y轴分别平行。并且和连线的距离就是焦距。一个物体从相机坐标系成像到图像坐标系，过程如图：

根据距离关系有：  

       

即：

     

转化为齐次形式：

     

4、世界坐标系

安装相机时，会分别绕相机坐标系的X、Y、Z轴做平移和旋转操作，最后得到世界坐标系。注意，此时三个轴与其他坐标系并不平行。

首先考虑平移操作：

        

其次考虑旋转操作，分别绕X、Y、Z轴旋转有旋转矩阵：

1.基本旋转矩阵：

2.基本矩阵：

故整个相机坐标系到世界坐标系的变换公式为：

     

其中：

---

二、相机的内参和外参

通过几个坐标系的转化，我们现在可以直接从像素坐标系变换到世界坐标系：

     

        

其中，u和v是像素坐标系中的坐标，XYZ是世界坐标系中的坐标，剩余的两个矩阵分别为：

★ RT01矩阵：相机外参，是相机相对于世界坐标系的旋转和平移变换关系。

★ 4*3矩阵：相机内参，是相机的固有属性，含有焦距、像元尺寸等参数。

相机畸变矫正中，重要的一步就是获取相机的内参。

---

三、图像的畸变和矫正

图像的畸变主要有两种：径向畸变和切向畸变。

径向畸变：正中心位置的畸变最小，随着半径的增大，畸变增大。径向畸变可以分为枕形畸变和桶形畸变：

径向畸变矫正公式如下（泰勒级数展开式前3项）：

     

其中是理想坐标，和是畸变后的像素点坐标，且：

切向畸变：在透镜与成像平面不平行时就会产生，类似于透视变换。

切向畸变的矫正公式如下：

两种畸变最后都归结到五个参数：；知道这五个参数后即可完成畸变的矫正。

 

---

四、畸变矫正代码实现

畸变矫正在OpenCV中已经做的很成熟了，只需要调用封装好的API就可以。接下来简要地说明一下流程：

1. 完成标定板图像的采集（至少3张）

2. 利用findChessboardCorners()函数检测标定板角点，并利用find4QuadCornerSubpix()函数完成亚像素级校准

3. 利用calibrateCamera()函数进行相机标定，得到内参矩阵和畸变系数

 1、标定板图像采集

 将标定板置于不同的角度进行拍摄，此时采集的图像为畸变图像。

2、角点检测 & 亚像素级校准

主要用到了两个OpenCV内置函数：

1、角点检测函数
bool findChessboardCorners(InputArray image, 
			Size patternSize,
			OutputArray corners, 
			int flags=CALIB_CB_ADAPTIVE_THRESH+CALIB_CB_NORMALIZE_IMAGE 
			); 
// image：传入拍摄的棋盘图Mat图像，必须是8位的灰度或者彩色图像
// patternSize：每个棋盘图上内角点的行列数，一般情况下，行列数不要相同，便于后续标定程序识别标定板的方向；
// corners：用于存储检测到的内角点图像坐标位置，一般用元素是Point2f的向量来表示：vector image_points_buf;
// flage：用于定义棋盘图上内角点查找的不同处理方式，有默认值。

2、提取亚像素角点信息
专门用来获取棋盘图上内角点的精确位置，降低相机标定偏差，还可以使用cornerSubPix函数
bool find4QuadCornerSubpix(InputArray img, 
			InputOutputArray corners, 
			Size region_size
                        );
// img：输入的Mat矩阵，最好是8位灰度图像，检测效率更高
// corners：初始的角点坐标向量，同时作为亚像素坐标位置的输出vector iamgePointsBuf；
// region_size：角点搜索窗口的尺寸

角点检测结果可以可视化出来：

 3、完成相机标定

3、相机标定
double calibrateCamera( InputArrayOfArrays objectPoints,
    			InputArrayOfArrays imagePoints,
			Size imageSize,
			CV_OUT InputOutputArray cameraMatrix,
			CV_OUT InputOutputArray distCoeffs,
			OutputArrayOfArrays rvecs, 
			OutputArrayOfArrays tvecs,
			int flags=0, 
			TermCriteria criteria = TermCriteria(TermCriteria::COUNT+TermCriteria::EPS, 30, DBL_EPSILON)
			);  
// objectPoints：世界坐标系中的三维点，三维坐标点的向量的向量vector> object_points
// imagePoints：每一个内角点对应的图像坐标点，vector> image_points_seq形式
// imageSize：图像的像素尺寸大小（列数=cols，行数=rows）（宽度=width，高度=height）
// cameraMatrix：相机的3*3内参矩阵，Mat cameraMatrix=Mat(3,3,CV_32FC1,Scalar::all(0));
// distCoeffs：1*5畸变矩阵，Mat distCoeffs=Mat(1,5,CV_32FC1,Scalar::all(0))
// rvecs：旋转向量，输入一个Mat类型的vector，即vectorrvecs;
// tvecs：位移向量，和rvecs一样，应该为vector tvecs；
// flags：标定时所采用的算法
// criteria：最优迭代终止条件设定

具体代码细节请参看：https://blog.csdn.net/piaoxuezhong/article/details/75268535