opencv单目相机标定-示例代码分析

  Opencv自带的sample code有关于camera calibration的示例代码，但是在这里我使用的是Learning OpenCV3的示例，在其代码基础上上稍微做了一点改动。之所以不用opencv自带的例子，是因为Learning OpenCV3的代码更加简单，可以更容易的抓住代码的核心。本节使用的项目代码可以在这里下载到。

一、运行示例

  在下载完整个工程以后，按照工程使用说明，下载配置Opencv，运行VS2019项目即可。正常情况下，运行结果如下图所示：

  上图显示了标定代码的三个主要步骤，实际上代码中还有一步，但是在dos窗口中没有打印任何信息，这个在后面的代码分析中再进一步说明。
  程序运行的第一步是加载图片信息，程序中只是获取了图片序列的文件名。第二步则是棋盘格角点检测，对序列图片中的每一张图片进行角点检测，并选出角点检测成功的图片打印信息，仔细观察打印信息发现没有IMG_0195.jpg的信息，说明这张图片角点检测失败了，猜测是因为标定板严重倾斜导致。第三步就是标定，将检测的棋盘格角点以及设置的3D坐标点输入到opencv现成的函数中即可得到相机内参、畸变系数以及相机外参，这里程序还计算了重投影误差，可以根据重投影误差来帮助我们判断标定的精度。

二、代码分析

  这里主要是对上面运行的代码做一些简单的介绍，因为Opencv封装的已经很好了，所以代码很简短，说明起来也很轻松。Opencv单目标定流程主要分为三步：

• 提取棋盘格角点
• 标定参数计算
• 去畸变

1. 检测角点

CV_EXPORTS_W bool findChessboardCorners(InputArray image, 
										Size patternSize,
										OutputArray corners,
                                        int flags = CALIB_CB_ADAPTIVE_THRESH + CALIB_CB_NORMALIZE_IMAGE );

• image：输入的棋盘格图像（可以是8位单通道或三通道图像）；
• patternSize：棋盘格内部的角点的行列数（棋盘格数量-1）；
• corners：检测到的棋盘格角点。
• flag：用于指定在检测棋盘格角点的过程中所应用的一种或多种过滤方法，可以使用下面的一种或多种：
  cv::CALIB_CB_ADAPTIVE_THRESH：使用自适应阈值将图像转化成二值图像
  cv::CALIB_CB_NORMALIZE_IMAGE：归一化图像灰度系数(用直方图均衡化或者自适应阈值)
  cv::CALIB_CB_FILTER_QUADS：在轮廓提取阶段，使用附加条件排除错误的假设
  cv::CALIB_CV_FAST_CHECK：快速检测

这个函数检测效果貌似精度不是很高，配合cornerSubPix可以进一步提高检测精度，进而提高标定精度。

2. 标定参数计算

CV_EXPORTS_W double calibrateCamera( InputArrayOfArrays objectPoints,
                                     InputArrayOfArrays imagePoints, 
                                     Size imageSize,
                                     InputOutputArray cameraMatrix, 
                                     InputOutputArray distCoeffs,
                                     OutputArrayOfArrays rvecs,
                                     OutputArrayOfArrays tvecs,
                                     int flags = 0, 
                                     TermCriteria criteria = TermCriteria(
                                        TermCriteria::COUNT + TermCriteria::EPS, 30, DBL_EPSILON) );

• objectPoints：棋盘格角点在定义的3D空间中的坐标；
• imagePoints：图像上的棋盘格角点坐标；
• imageSize：拍摄图像尺寸；
• cameraMatrix：标定得到的相机内参矩阵；
• distCoeffs：标定得到的相机畸变参数；
• rvecs：标定计算得到的旋转向量（外参）；
• tvecs：标定得到的平移向量（外参）；
• flags：设置标定参数是否参与优化，很重要的一个参数，在本项目中设置为cv::CALIB_ZERO_TANGENT_DIST | cv::CALIB_FIX_PRINCIPAL_POINT；这里cv::CALIB_ZERO_TANGENT_DIST表示不考虑切向畸变系数，cv::CALIB_FIX_PRINCIPAL_POINT表示固定主点坐标定；或表示两个宏都要设置，这样设置的结果就是切向畸变系数(p1，p2)都是0，主点（cx，cy）在图像的中心，计算和优化参数过程中，这四个参数不参与计算。
• criteria：这个是内部迭代优化的终止条件参数设置，一般不怎么改动。

3. 去畸变

CV_EXPORTS_W void initUndistortRectifyMap(InputArray cameraMatrix, 
										  InputArray distCoeffs,
                           				  InputArray R, 
                           				  InputArray newCameraMatrix,
                           				  Size size, 
                           				  int m1type, 
                           				  OutputArray map1, 
                           				  OutputArray map2 );

• cameraMatrix：标定得到的相机内参矩阵；
• distCoeffs：标定得到的畸变系数；
• R：双目校正会设置，这里被设置为空矩阵；
• newCameraMatrix：校正后的相机内参矩阵，本项目使用的是标定内参矩阵，也可以通过cv::getOptimalNewCameraMatrix计算获得；
• size：去畸变图像大小；
• m1type：第一个map的数据类型，通常是CV_32FC1, CV_32FC2或CV_16SC2；
• map1：第一个映射矩阵；
• map2：第二个映射矩阵；

这个函数计算得到两个map，然后利用cv::remap函数对畸变图像进行映射变换，得到最终的去畸变图像。

三、总结

• 本项目的标定程序还有很多可以改进的地方，比如角点检测的精度，可以针对当前的例子做更多的改动，并对比不同设置下，标定结果的差异。
• Opencv算法实现的已经非常好用了，但是对于内部的算法细节，需要更多的精力去了解，在时间允许的情况下，我会对算法实现进行总结。