清华大学黄耀的Stereo-Matching-Introduction ppt
Efficient Large-scale Stereo Matching
opencv 函数
Stereo Calibration and Rectification
双目摄像头矫正就是为了
- 极点在无穷远处
- 对应的极线水平对齐
做法是：
旋转左右相机使得他们看起来是在一个平面上面的，并且使得他们对应的极线是水平对其的，最后进行scale缩放使得水平的畸变最小
大概的公式是这样的，定义左摄像头作为世界参考坐标系，\(P_l\)是一个点ｐ在世界坐标系表示，\(P_r\)是该点在右摄像机坐标系中表示，Ｒ,T是左右摄像机的坐标变换，那么有
\[P_l = R^TP_r +T\]
\[R_{rect}P_l = R_{rect}R^TP_r +R_{rect}T\]
上面对他们同时乘以一个\(R_{rect}\)，要是\(R_{rect}T = \{|T| \quad 0 \quad 0\}\)
那么同一点ｐ在左右摄像机中的表示只是相差一个ｘ值，就是在同一水平线上，那么\(R_{rect}\)怎么构造呢
大概就是以摄像机的中心连线作为\(e_1\)，\(e_1\)叉乘一个相机的光心轴的方向作为\(e_2\)，\(e_3\) 就是\(e_1\)叉乘\(e_2\), \(e_1,e_2,e_3\)就是\(R_{rect}\)
具体可以参考上面的那个Stereo Calibration and Rectification，对opencv stereo代码的使用还有原理讲解非常好。
左右图像已经矫正，搜索就是在同一行上面进行，一般有local window search， global energy function
- Local Approach
最简单的做法是下面这种
for each row, k
for j = Δ to w
c min = ∞
for d = 0 to Δ // check each possible disparity
c(d) = f ( I 1 (j,k), I 2 (j-d,k) )
if c(d) < c min then
d best = d
c min = c(d)
disp( j,k ) = d best // Save best d value就是利用局部像素的信息，有滑动窗口，NCC 什么的，但是对于边缘的地方效果不是很好，还有就是窗口的大小对效果很有关系
- Global Approach
就是加了一项平滑的量
立体匹配具体的可以参考上面的黄耀的Stereo-Matching-Introduction
评价算法好坏的可以从以下几个方面：
对边界处深度的估计，无纹理地方的估计，渐变面的深度估计，遮掩地方的估计，还有需要计算的时间，内存
双目标定的代码
是别人的代码，具体的来源我忘了(对不住了兄弟，知道的可以跟我说一下，我给个链接)
// stereoCalibration.cpp : 定义控制台应用程序的入口点。
//
//在进行双目摄像头的标定之前，最好事先分别对两个摄像头进行单目视觉的标定
//分别确定两个摄像头的内参矩阵，然后再开始进行双目摄像头的标定
//在此例程中是先对两个摄像头进行单独标定(见上一篇单目标定文章)，然后在进行立体标定
#include "stdio.h"
#include
#include
#include "cv.h"
#include
#include
using namespace std;
using namespace cv;
const int imageWidth = 672; //摄像头的分辨率
const int imageHeight = 376;
const int boardWidth = 11; //横向的角点数目
const int boardHeight = 8; //纵向的角点数据
const int boardCorner = boardWidth * boardHeight; //总的角点数据
const int frameNumber = 40; //相机标定时需要采用的图像帧数
const int squareSize = 20; //标定板黑白格子的大小 单位mm
const Size boardSize = Size(boardWidth, boardHeight); //
Size imageSize = Size(imageWidth, imageHeight);
Mat R, T, E, F; //R 旋转矢量 T平移矢量 E本征矩阵 F基础矩阵
vector rvecs; //旋转向量
vector tvecs; //平移向量
vector> imagePointL; //左边摄像机所有照片角点的坐标集合
vector> imagePointR; //右边摄像机所有照片角点的坐标集合
vector> objRealPoint; //各副图像的角点的实际物理坐标集合
vector cornerL; //左边摄像机某一照片角点坐标集合
vector cornerR; //右边摄像机某一照片角点坐标集合
Mat rgbImageL, grayImageL;
Mat rgbImageR, grayImageR;
Mat Rl, Rr, Pl, Pr, Q; //校正旋转矩阵R，投影矩阵P 重投影矩阵Q (下面有具体的含义解释）
Mat mapLx, mapLy, mapRx, mapRy; //映射表
Rect validROIL, validROIR; //图像校正之后，会对图像进行裁剪，这里的validROI就是指裁剪之后的区域
/*
事先标定好的左相机的内参矩阵
fx 0 cx
0 fy cy
0 0 1
*/
Mat cameraMatrixL = (Mat_(3, 3) << 350.630987, 0.000000, 338.489358,
0.000000, 350.460123 ,186.370994,
0, 0, 1);
Mat distCoeffL = (Mat_(5, 1) << -0.167658 ,0.022202 ,-0.000261 ,-0.000113, 0.000000
);
/*
事先标定好的右相机的内参矩阵
fx 0 cx
0 fy cy
0 0 1
*/
Mat cameraMatrixR = (Mat_(3, 3) << 350.032707, 0.000000 ,352.606748,
0.000000 ,349.998921 ,189.797070,
0, 0, 1);
Mat distCoeffR = (Mat_(5, 1) << -0.167346, 0.023118 ,-0.000105, 0.000318, 0.000000);
/*计算标定板上模块的实际物理坐标*/
void calRealPoint(vector>& obj, int boardwidth, int boardheight, int imgNumber, int squaresize)
{
// Mat imgpoint(boardheight, boardwidth, CV_32FC3,Scalar(0,0,0));
vector imgpoint;
for (int rowIndex = 0; rowIndex < boardheight; rowIndex++)
{
for (int colIndex = 0; colIndex < boardwidth; colIndex++)
{
// imgpoint.at(rowIndex, colIndex) = Vec3f(rowIndex * squaresize, colIndex*squaresize, 0);
imgpoint.push_back(Point3f(rowIndex * squaresize, colIndex * squaresize, 0));
}
}
for (int imgIndex = 0; imgIndex < imgNumber; imgIndex++)
{
obj.push_back(imgpoint);
}
}
void outputCameraParam(void)
{
/*保存数据*/
/*输出数据*/
FileStorage fs("intrinsics.yml", FileStorage::WRITE);
if (fs.isOpened())
{
fs << "cameraMatrixL" << cameraMatrixL << "cameraDistcoeffL" << distCoeffL <<"cameraMatrixR" << cameraMatrixR << "cameraDistcoeffR" << distCoeffR;
fs.release();
cout << "cameraMatrixL=:" << cameraMatrixL < stereoRectify只需要K1,D1,K2,D2,就可以求出R1,P1,R2,P2,Q. 不同的参数alpha会导致的不同的结果，可以把上面的alpha改为-1或者0，试试
stereoCalibrate这个才是矫正得到不同于单目摄像头矫正得到的K1,D1,K2,D2，还有R，T，E，F。
矫正过程中多次取图片的用处不是在重复运行上面两个函数，而是得到多组不同的objectPoints以及对应的imagePoints