世界坐标系的三维点投影到成像
坐标系中的二维点的投影公式如下:
其中(X,Y,Z)为世界坐标系中的三维点;
(u,v)为成像面坐标系中的二维点;
A为相机的内参数矩阵:(cx,cy)为主光轴点,一般为图像的中心;fx和fy为焦距;
[R|t]为相机的外参数矩阵:R为旋转矩阵,t为位移矩阵;
上述公式的简单推理过程如下
考虑到镜头畸变
其中,k1,k2,k3,k4,k5和k6为径向畸变,p1和p2为轴向畸变。在opencv中,畸变矩阵的参数为(k1,k2,p1,p2[,k3[,k4,k5,k6]]])。
Opencv中的标定模块常用的标定函数:
double calibrateCamera(InputArrayOfArrays objectPoints, InputArrayOfArrays imagePoints,Size imageSize, InputOutputArray cameraMatrix, InputOutputArray distCoeffs, OutputArrayOfArrays rvecs, OutputArrayOfArrays tvecs, int flags=0)
其中
objectPoints为世界坐标系中的点。在使用时,应该输入一个三维点的vector的vector,即vector<vector<Point3f> > (注要记得括号的区别)objectPoints。
imagePoints为其对应的图像点。和objectPoints一样,应该输入std::vector<std::vector<cv::Point2f> > imagePoints型的变量。
imageSize为图像的大小,在计算相机的内参数和畸变矩阵需要用到;
cameraMatrix为内参数矩阵(相机矩阵 cameraMatrix)
。输入一个cv::Mat cameraMatrix即可。
distCoeffs为畸变矩阵。输入一个cv::Mat distCoeffs即可。
rvecs为旋转向量;应该输入一个cv::Mat的vector,即vector<cv::Mat> rvecs因为每个vector<Point3f>会得到一个rvecs。
tvecs为位移向量;和rvecs一样,也应该为vector<cv::Mat> tvecs。
flags为标定是所采用的算法。可如下某个或者某几个参数:
CV_CALIB_USE_INTRINSIC_GUESS:使用该参数时,在cameraMatrix矩阵中应该有fx,fy,cx,cy的估计值。否则的话,将初始化(cx,cy)图像的中心点,使用最小二乘估算出fx,fy。如果内参数矩阵和畸变居中已知的时候,应该标定模块中的solvePnP()函数计算外参数矩阵。
CV_CALIB_FIX_PRINCIPAL_POINT:在进行优化时会固定光轴点。当CV_CALIB_USE_INTRINSIC_GUESS参数被设置,光轴点将保持在中心或者某个输入的值。
CV_CALIB_FIX_ASPECT_RATIO:固定fx/fy的比值,只将fy作为可变量,进行优化计算。当CV_CALIB_USE_INTRINSIC_GUESS没有被设置,fx和fy将会被忽略。只有fx/fy的比值在计算中会被用到。
CV_CALIB_ZERO_TANGENT_DIST:设定切向畸变参数(p1,p2)为零。
CV_CALIB_FIX_K1,...,CV_CALIB_FIX_K6:对应的径向畸变在优化中保持不变。如果设置了CV_CALIB_USE_INTRINSIC_GUESS参数,
CV_CALIB_RATIONAL_MODEL:计算k4,k5,k6三个畸变参数。如果没有设置,则只计算其它5个畸变参数。
在此注明下相机校正的几个关键步骤,在我的下一篇博文里面有实现的代码
addChessboardPoints()
函数 - 用于读入一系列的棋盘图像并检测角点;calibrate()
函数 - 用于进行相机校正,得到相机的参数矩阵和畸变系数;remap()
函数 - 用于根据相机校正结果修复图像的畸变;//主要靠这个函数实现校正initUndistortRectifyMapaddPoints()
函数 - addChessboardPoints()
在检测完角点后会调用这个函数。也可自己手动调用这个函数添加已知的角点位置和对应的空间坐标点。