计算机视觉之相机成像几何模型（原理）与相机标定内参和外参（代码）
文章目录
- 相机成像几何模型（原理）
- 相机标定内参和外参（代码）
- 遇到的一些问题
- 结语
相机成像几何模型（原理）
一、四大坐标系及目的
四大坐标系：世界坐标系（测量坐标系），相机坐标系，图像坐标系(胶卷坐标系，连续值)，像素坐标系。
目的:用数学方式描述3D点如何投影到2D像素坐标系中(正投影：Forward projection)，以及反过来的投影过程（Back projection）。
计算机视觉的首要任务就是要通过拍摄到的图像信息获取到物体在真实三维世界里相对应的信息，于是，建立物体从三维世界映射到相机成像平面这一过程中的几何模型就显得尤为重要
另外，描述相机坐标系下的3D点投影到图像坐标系下2D点的过程称为透视投影(perspective projection)。其中，f为相机焦距，（X,Y,Z）为相机坐标系下某点的坐标，（x,y）为图像坐标系下与（X,Y,Z）对应的坐标。
二、从世界坐标系到相机坐标系的变换
世界坐标系：也称测量坐标系，它是一个三维直角坐标系( x w , y w , z w x_w,y_w,z_w xw,yw,zw)。
在世界坐标系中，可以描述相机和待测物体的空间位置。而世界坐标系的位置根据实际情况自行确定。
相机坐标系：它也是一个三维直角坐标系（ x c , y c , z c x_c,y_c,z_c xc,yc,zc）。
相机坐标系的原点是镜头的光心，x、y轴分别与像平面两边平行，z轴为镜头的光轴，与像平面垂直。
从世界坐标系到相机坐标系：刚体变换，也就是只改变物体的空间位置(平移)和朝向（旋转），而不改变物体的形状。
用旋转矩阵R和平移向量t可以表示这种变换。
在齐次坐标下，旋转矩阵R是正交矩阵，可通过Rodrigues变换转为只有三个独立变量的旋转向量。因此，刚体变换用6个参数就可以表示（3个旋转向量，3个平移向量），而这6个参数就作为相机的外参。
相机外参实现了空间点从世界坐标系到相机坐标系的变换。
[ x c y c z c ] = R [ x w y w z w ] + t \begin{bmatrix} x_c \\ y_c\\ z_c \end{bmatrix}=R\begin{bmatrix}x_w\\y_w\\z_w\end{bmatrix}+t ⎣⎡xcyczc⎦⎤=R⎣⎡xwywzw⎦⎤+t
其中，R 是 3 × \times × 3，t 是 3 × \times × 1。
齐次坐标下，可以表示为：
[ x c y c z c 1 ] = [ R t 0 T 1 ] ⋅ [ x w y w z w 1 ] = [ r 11 r 12 r 13 t x r 21 r 22 r 23 t y r 31 r 32 r 33 t z 0 0 0 1 ] ⋅ [ x w y w z w 1 ] \begin{bmatrix}x_c\\y_c\\z_c\\1\end{bmatrix}=\begin{bmatrix}R&t\\0^T&1\end{bmatrix}·\begin{bmatrix}x_w\\y_w\\z_w\\1\end{bmatrix}=\begin{bmatrix}r_{11}&r_{12}&r_{13}&t_x\\r_{21}&r_{22}&r_{23}&t_y\\r_{31}&r_{32}&r_{33}&t_z\\0&0&0&1\end{bmatrix}·\begin{bmatrix}x_w\\y_w\\z_w\\1\end{bmatrix} ⎣⎢⎢⎡xcyczc1⎦⎥⎥⎤=[R0Tt1]⋅⎣⎢⎢⎡xwywzw1⎦⎥⎥⎤=⎣⎢⎢⎡r11r21r310r12r22r320r13r23r330txtytz1⎦⎥⎥⎤⋅⎣⎢⎢⎡xwywzw1⎦⎥⎥⎤
三、从相机坐标系到图像坐标系的变换
图像坐标系：也叫平面坐标系。用物理单位表示像素的位置，单位是mm。坐标原点为相机光轴与成像平面的交点，通常情况下是成像平面的中点。
从相机坐标系到图像坐标系：属于透视投影关系，从3D转换到2D。
根据相似三角形原理：
x = f x c z c x=f\frac{x_c}{z_c} x=fzcxc
y = f y c z c y=f\frac{y_c}{z_c} y=fzcyc
在齐次坐标下表示为：
z c [ x y 1 ] = [ f 0 0 0 0 f 0 0 0 0 1 0 ] [ x c y c z c 1 ] z_c\begin{bmatrix}x\\y\\1\end{bmatrix}=\begin{bmatrix}f&0&0&0\\0&f&0&0\\0&0&1&0\end{bmatrix}\begin{bmatrix}x_c\\y_c\\z_c\\1\end{bmatrix} zc⎣⎡xy1⎦⎤=⎣⎡f000f0001000⎦⎤⎣⎢⎢⎡xcyczc1⎦⎥⎥⎤
其中， [ f 0 0 0 0 f 0 0 0 0 1 0 ] \begin{bmatrix}f&0&0&0\\0&f&0&0\\0&0&1&0\end{bmatrix} ⎣⎡f000f0001000⎦⎤为透视投影矩阵。
这样就完成了相机坐标系到理想的图像坐标系的转换（我们默认各个坐标系的变换都是线性的），但实际上，相机镜头中的镜片由于光线的通过产生不规则的折射，总是存在镜头畸变的。畸变的引入使得成像模型中的几何变换关系为非线性。
畸变的类型很多，但通常只考虑径向畸变和切向畸变。
引入畸变之后，理想的图像坐标系到真实的图像坐标系的变换为：
x ′ = x + δ x r + δ x d x'=x+\delta_{xr}+\delta_{xd} x′=x+δxr+δxd
y ′ = y + δ y r + δ y d y'=y+\delta_{yr}+\delta_{yd} y′=y+δyr+δyd
其中， δ x r \delta_{xr} δxr和 δ y r \delta_{yr} δyr为径向引起的畸变， δ x d \delta_{xd} δxd和 δ y d \delta_{yd} δyd为切向引起的畸变。
径向畸变形成的原因：镜头本身的缺陷（制造工艺不完美）导致的。
包括枕形畸变和桶形畸变。
从图中可以看出：离中心越远的地方，形变越明显（eg:四个角的位置）。
即：镜头的边缘形变更显著。
来张真实的效果图：
切向畸变：有薄透镜畸变和离心畸变等。
薄透镜畸变形成的原因：透镜存在一定的细微倾斜。
离心畸变形成的原因：镜头由多个透镜组合而成，而各透镜的光轴不在同一条中心线上。
四、从图像坐标系到像素坐标系的变换
从图像坐标系到像素坐标系：没有旋转，只是坐标原点和单位不一样。
图像坐标系坐标原点为相机光轴与成像平面的交点，单位是mm,属于物理单位。
像素坐标系坐标原点在左上角，以像素为单位，我们通常描述一个像素点是几行几列。
所以，两者之间的转换如下：
u = x d x + u 0 u=\frac{x}{dx}+u_0 u=dxx+u0
v = y d y + v 0 v=\frac{y}{dy}+v_0 v=dyy+v0
在齐次坐标下：
[ u v 1 ] = [ 1 d x 0 u O 0 0 1 d y v 0 0 0 1 ] ⋅ [ x y 1 ] \begin{bmatrix}u\\v\\1\end{bmatrix}=\begin{bmatrix}\frac{1}{dx}&0&u_O0\\0&\frac{1}{dy}&v_0\\0&0&1\end{bmatrix}·\begin{bmatrix}x\\y\\1\end{bmatrix} ⎣⎡uv1⎦⎤=⎣⎡dx1000dy10uO0v01⎦⎤⋅⎣⎡xy1⎦⎤
五、相机投影模型的总结
通过上面四个坐标系的转换就可以得到一个点从世界坐标系转换到像素坐标系：
z c [ u v 1 ] = [ 1 d x 0 u 0 0 1 d y v 0 0 0 1 ] [ f 0 0 0 0 f 0 0 0 0 1 0 ] [ R t 0 T 1 ] [ x w y w z w 1 ] = [ f x 0 u 0 0 0 f y v 0 0 0 0 1 0 ] [ R t 0 T 1 ] [ x w y w z w 1 ] z_c\begin{bmatrix}u\\v\\1\end{bmatrix}=\begin{bmatrix}\frac{1}{dx}&0&u_0\\0&\frac{1}{dy}&v_0\\0&0&1\end{bmatrix}\begin{bmatrix}f&0&0&0\\0&f&0&0\\0&0&1&0\end{bmatrix}\begin{bmatrix}R&t\\0^T&1\end{bmatrix}\begin{bmatrix}x_w\\y_w\\z_w\\1\end{bmatrix}=\begin{bmatrix}f_x&0&u_0&0\\0&f_y&v_0&0\\0&0&1&0\end{bmatrix}\begin{bmatrix}R&t\\0^T&1\end{bmatrix}\begin{bmatrix}x_w\\y_w\\z_w\\1\end{bmatrix} zc⎣⎡uv1⎦⎤=⎣⎡dx1000dy10u0v01⎦⎤⎣⎡f000f0001000⎦⎤[R0Tt1]⎣⎢⎢⎡xwywzw1⎦⎥⎥⎤=⎣⎡fx000fy0u0v01000⎦⎤[R0Tt1]⎣⎢⎢⎡xwywzw1⎦⎥⎥⎤
其中， [ f x 0 u 0 0 0 f y v 0 0 0 0 1 0 ] \begin{bmatrix}f_x&0&u_0&0\\0&f_y&v_0&0\\0&0&1&0\end{bmatrix} ⎣⎡fx000fy0u0v01000⎦⎤为相机内参， [ R t 0 T 1 ] \begin{bmatrix}R&t\\0^T&1\end{bmatrix} [R0Tt1]为相机外参。
上面等式的模型如下：
所以，相机成像模型最关键的部分就是要得到相机的内参和外参。
相机标定内参和外参（代码）
所用的图片：
相机标定时可用的标定板图像集
代码：
#include "opencv2/core/core.hpp"
#include "opencv2/imgproc/imgproc.hpp"
#include "opencv2/calib3d/calib3d.hpp"
#include "opencv2/highgui/highgui.hpp"
#include 运行结果：
（1）角点绘制（以right01.jpg~right04.jpg为例）
（2）命令行运行结果
（3）文件中运行结果
遇到的一些问题
（1）如何将图片集保存到txt文本中？
保证图片集和txt文件在同一目录，然后图片名字写入txt文件中保存。
（2）绘制标定板上的角点时，应设定最佳的角点数。这里给定的标定板为7*10格（7行10列）的，所以代码设定为
Size board_size = Size(6,9);
即最外边的角点都不列入其中。
3、相机内参为4个，外参为6个，可以直接给出内参和外参，也可以以内参矩阵和外参矩阵的方式给出。另外，内参矩阵和外参矩阵又分为齐次坐标下的和非齐次坐标下的。
结语
如果你喜欢我写的文章，欢迎来踩我个人搭建的博客~
ChengNing’s Blog