双目测距与三维重建的opencv问题——图像获取与单目定标
本文转自邹宇华老师的博客http://blog.csdn.net/chenyusiyuan/article/details/5961769
个人能力有限，第一次写文章，特以老师的文章镇楼，以此自勉
双目测距的基本原理
如上图所示，双目测距主要是利用了目标点在左右两幅视图上成像的横向坐标直接存在的差异（即视差 ）与目标点到成像平面的距离Z存在着反比例的关系：Z=fT/d。
“@scyscyao ：在OpenCV中，f的量纲是像素点，T的量纲由定标板棋盘格的实际尺寸和用户输入值确定，一般是以毫米为单位（当然为了精度提高也可以设置为0.1毫米量级），d=xl-xr的量纲也是像素点。因此分子分母约去，Z的量纲与T相同。 ”
假设目标点在左视图中的坐标为（x,y），在左右视图上形成的视差为d，目标点在以左摄像头光心为原点的世界坐标系中的坐标为（X,Y,Z），则存在上图所示的变换矩阵Q，使得 Q*[x y d 1]’ = [X Y Z W]’。
“@scyscyao ：为了精确地求得某个点在三维空间里的距离Z，我们需要获得的参数有焦距f、视差d、摄像头中心距Tx。如果还需要获得X坐标和Y坐标的话，那么还需要额外知道左右像平面的坐标系与立体坐标系中原点的偏移cx和cy。其中f, Tx, cx和cy可以通过立体标定获得初始值，并通过立体校准优化，使得两个摄像头在数学上完全平行放置，并且左右摄像头的cx, cy和f相同(也就是实现图2中左右视图完全平行对准的理想形式)。而立体匹配所做的工作，就是在之前的基础上，求取最后一个变量：视差d(这个d一般需要达到亚像素精度)。从而最终完成求一个点三维坐标所需要的准备工作。在清楚了上述原理之后，我们也就知道了，所有的这几步：标定、校准和匹配，都是围绕着如何更精确地获得 f, d, Tx, cx 和cy 而设计的 。”
一、图像的获取
1． 如何打开两个或多个摄像头？
可以通过OpenCV的capture类函数或者结合DirectShow来实现双摄像头的捕获，实现方式在此并不赘述，具体方法见原作者所著《OpenCV学习笔记（6）基于 VC+OpenCV+DirectShow 的多个摄像头同步工作 》http://blog.csdn.net/chenyusiyuan/article/details/4643313在之前写过一个使用MFC调用摄像头选择框实现的读取双摄像头的例子，但还未用该方法结合opencv对图像进行处理，相关方法会在下一篇文章里进行详细说明。本文仅贴出相关操作上的实现原理，以供自己学习。
2． 如何实现多个摄像头帧画面的同步抓取？
在单摄像头情况下用 cvQueryFrame 即可抓取一帧画面，实际上这个函数是由两个routine组成的：cvGrabFrame和cvRetrieveFrame（详见Learning OpenCV第103页）。cvGrabFrame将摄像头帧画面即时复制到内部缓存中，然后通过cvRetrieveFrame把我们预定义的一个IplImage型空指针指向缓存内的帧数据。注意这时我们并没有真正把帧数据取出来，它还保存在OpenCV的内部缓存中，下一次读取操作就会被覆盖掉。所以一般我们要另外定义一个IplImage来复制所抓取的帧数据，然后对这个新IplImage进行操作。
由上面的解释也可以看出，cvGrabFrame的作用就是尽可能快的将摄像头画面数据复制到计算机缓存，这个功能就方便我们实现对多个摄像头的同步抓取，即首先用cvGrabFrame依次抓取各个CvCapture*，然后再用cvRetrieveFrame把帧数据取出来
cvGrabFrame( lfCam );cvGrabFrame( riCam );
frame1 = cvRetrieveFrame( lfCam );
frame2 = cvRetrieveFrame( riCam );
if( !frame1|| !frame2) break;
cvCopyImage(frame1, image1);
cvCopyImage(frame2, image2);
二、摄像头定标
摄像头定标一般都需要一个放在摄像头前的特制的标定参照物（棋盘纸），摄像头获取该物体的图像，并由此计算摄像头的内外参数。标定参照物上的每一个特征点相对于世界坐标系的位置在制作时应精确测定，世界坐标系可选为参照物的物体坐标系。在得到这些已知点在图像上的投影位置后，可计算出摄像头的内外参数。
如上图所示，摄像头由于光学透镜的特性使得成像存在着径向畸变，可由三个参数k1,k2,k3确定；由于装配方面的误差，传感器与光学镜头之间并非完全平行，因此成像存在切向畸变，可由两个参数p1,p2确定。单个摄像头的定标主要是计算出摄像头的内参（焦距f和成像原点cx,cy、五个畸变参数（一般只需要计算出k1,k2,p1,p2，对于鱼眼镜头等径向畸变特别大的才需要计算k3））以及外参（标定物的世界坐标）。 OpenCV 中使用的求解焦距和成像原点的算法是基于张正友的方法（ pdf ），而求解畸变参数是基于 Brown 的方法（ pdf ）。
1． 图像坐标系、摄像头坐标系和世界坐标系的关系
摄像头成像几何关系，其中Oc 点称为摄像头（透镜）的光心，Xc 轴和Yc 轴与图像的x轴和Y轴平行，Zc 轴为摄像头的光轴，它与图像平面垂直。光轴与图像平面的交点O1 ，即为图像坐标系的原点。由点Oc 与Xc 、Yc 、Zc 轴组成的坐标系称为摄像头坐标系，Oc O1 的距离为摄像头焦距，用f表示。
图像坐标系是一个二维平面，又称为像平面，“@scyscyao ：实际上就是摄像头的CCD传感器的表面。每个CCD传感器都有一定的尺寸，也有一定的分辨率，这个就确定了毫米与像素点之间的转换关系。举个例子，CCD的尺寸是8mm X 6mm，帧画面的分辨率设置为640X480，那么毫米与像素点之间的转换关系就是80pixel/mm。”设CCD传感器每个像素点的物理大小为dx*dy，相应地，就有 dx=dy=1/80。
2． 进行摄像头定标时，棋盘方格的实际大小 square_size （默认为 1.0f ）的设置对定标参数是否有影响？
“@scyscyao ：当然有。在标定时，需要指定一个棋盘方格的长度，这个长度(一般以毫米为单位，如果需要更精确可以设为0.1毫米量级)与实际长度相同，标 定得出的结果才能用于实际距离测量。一般如果尺寸设定准确的话，通过立体标定得出的Translation向量的第一个分量Tx的绝对值就是左右摄像头的中心距。一般可以用这个来验证立体标定的准确度。比如我设定的棋盘格大小为270 (27mm)，最终得出的Tx大小就是602.8 (60.28mm)，相当精确。”
3． 定标所得的摄像头内参数，即焦距和原点坐标，其数值单位都是一致的吗？怎么把焦距数值换算为实际的物理量？
“@wobject ：是的，都是以像素为单位。假设像素点的大小为k x l，单位为mm，则fx = f / k， fy = f / (l * sinA)， A一般假设为 90°，是指摄像头坐标系的偏斜度（就是镜头坐标和CCD是否垂直）。摄像头矩阵（内参）的目的是把图像的点从图像坐标转换成实际物理的三维坐标。因此其中的fx, fy, cx, cy 都是使用类似上面的纲量。同样，Q 中的变量 f，cx, cy 也应该是一样的。”
4． 棋盘图像数目应该取多少对摄像头定标比较适宜？
OpenCV中文论坛上piao的帖子《在OpenCV中用cvCalibrateCamera2进行相机标定(附程序) 》（相关文章在http://www.opencv.org.cn/forum.php?f=1&t=4603#p16571论坛中查找）中指出影响摄像头定标结果的准确性和稳定性的因素主要有三个：
（1） 标定板所在平面与成像平面(image plane)之间的夹角；
（2） 标定时拍摄的图片数目（棋盘图像数目）；
（3） 图像上角点提取的不准确。
感觉OpenCV1.2以后对图像角点的提取准确度是比较高的，cvFindChessboardCorners 和 cvFindCornerSubPix结合可以获得很好的角点检测效果（hqhuang1在《[HQ]角点检测(Corner Detection) cvFindCornerSubPix 使用范例 》中给出了相关的应用范例）。因此，影响定标结果较大的就是标定板与镜头的夹角和棋盘图像数目，在实际定标过程中，我感觉棋盘图像数目应该大于20张，每成功检测一次完整的棋盘角点就要变换一下标定板的姿态（包括角度、距离） 。
5． 单目定标函数cvCalibrateCamera2采用怎样的 flags 比较合适？
由于一般镜头只需要计算k1,k2,p1,p2四个参数，所以我们首先要设置 CV_CALIB_FIX_K3；其次，如果所用的摄像头不是高端的、切向畸变系数非常少的，则不要设置 CV_CALIB_ZERO_TANGENT_DIST，否则单目校正误差会很大；如果事先知道摄像头内参的大概数值，并且cvCalibrateCamera2函数的第五个参数intrinsic_matrix非空，则也可设置 CV_CALIB_USE_INTRINSIC_GUESS ，以输入的intrinsic_matrix为初始估计值来加快内参的计算；其它的 flag 一般都不需要设置，对单目定标的影响不大。