相机模型坐标系关系及转换

相机模型坐标系关系及转换

简介

相机模型是以后一切标定算法的关键，简单来说是从世界坐标系换到图像坐标系的过程，也就是求最终的投影矩阵的过程，由投影过程求出相机的外参数和内参数。

四个坐标系

• 世界坐标系（world coordinate）( Xw,Yw,Zw X w , Y w , Z w )，也称为测量坐标系，是一个三维直角坐标系，以其为基准可以描述相机和待测物体的空间位置。世界坐标系的位置可以根据实际情况自由确定。
• 相机坐标系（camera coordinate）( Xc,Yc,Zc X c , Y c , Z c )，也是一个三维直角坐标系，原点位于镜头光心处，X、y轴分别与相面的两边平行，Z轴为镜头光轴，与像平面垂直。
• 成像平面坐标系 (X,Y) ( X , Y ) ：像素坐标系不利于坐标变换，因此需要建立图像坐标系XOY，其坐标轴的单位通常为毫米（mm），原点是相机光轴与相面的交点（称为主点），即图像的中心点，X轴、Y轴分别与U轴、V轴平行。故两个坐标系实际是平移关系，即可以通过平移就可得到。
• 像素坐标系 ( U,V U , V )是一个二维直角坐标系，反映了相机CCD/CMOS芯片中像素的排列情况。原点O位于图像的左上角，U轴、V轴分别于像面的两边平行。像素坐标系中坐标轴的单位是像素（整数）。

标定过程

1. 世界坐标系转换到相机坐标系，这是三维到三维点的转换，包括R，t（相机外参，确定了相机在某个三维空间中的位置和朝向）等参数

2. 从相机坐标系转换为成像平面坐标系（像素坐标系），这是三维点到二维点的转换，包括K（相机内参，对相机物理特性的近似）等参数

   ​

坐标转换

世界坐标系转换为相机坐标系

⎡⎣⎢⎢⎢XcYcZc1⎤⎦⎥⎥⎥=[ROTt1]⎡⎣⎢⎢⎢XwYwZw1⎤⎦⎥⎥⎥ [ X c Y c Z c 1 ] = [ R t O T 1 ] [ X w Y w Z w 1 ]

其中 R∈R3∗3 R ∈ ℝ 3 ∗ 3 为正交旋转矩阵， t∈R3∗1 t ∈ ℝ 3 ∗ 1 为三维平移向量

相机坐标系转化为成像平面坐标系

设成像平面上一点坐标 m(x,y) m ( x , y ) ，对应相机坐标系点 M(xc,yc,zc) M ( x c , y c , z c ) 相机焦距f（相机坐标系原点与成像平面原点的距离），由三角形相似原理得

x=fxcZc，y=fyczc x = f x c Z c ， y = f y c z c

换成矩阵形式

Zc⎡⎣⎢XY1⎤⎦⎥=⎡⎣⎢f000f0001000⎤⎦⎥⎡⎣⎢⎢⎢XcYcZc1⎤⎦⎥⎥⎥ Z c [ X Y 1 ] = [ f 0 0 0 0 f 0 0 0 0 1 0 ] [ X c Y c Z c 1 ]

成像平面坐标系转换为像素坐标系

假定每个像素在U,V轴方向上的物理尺寸为dx,dy（实际表示感光芯片上像素的实际大小，可以理解为一个像素所表示的成像平面的尺寸大小）

由

U−U0=xdx,V−V0=ydy U − U 0 = x d x , V − V 0 = y d y

得

⎡⎣⎢UV1⎤⎦⎥=⎡⎣⎢⎢1dx0001dy0u0v01⎤⎦⎥⎥⎡⎣⎢XY1⎤⎦⎥ [ U V 1 ] = [ 1 d x 0 u 0 0 1 d y v 0 0 0 1 ] [ X Y 1 ]

世界坐标系转像素坐标系

结合上上述三个矩阵变换可得最后转换矩阵为

Zc⎡⎣⎢UV1⎤⎦⎥=⎡⎣⎢⎢1dx0001dy0u0v01⎤⎦⎥⎥⎡⎣⎢f000f0001000⎤⎦⎥[ROTt1]⎡⎣⎢⎢⎢XwYwZw1⎤⎦⎥⎥⎥=⎡⎣⎢αx000αy0u0v01000⎤⎦⎥[ROTt1]⎡⎣⎢⎢⎢XwYwZw1⎤⎦⎥⎥⎥=M1M2Xw=MXw Z c [ U V 1 ] = [ 1 d x 0 u 0 0 1 d y v 0 0 0 1 ] [ f 0 0 0 0 f 0 0 0 0 1 0 ] [ R t O T 1 ] [ X w Y w Z w 1 ] = [ α x 0 u 0 0 0 α y v 0 0 0 0 1 0 ] [ R t O T 1 ] [ X w Y w Z w 1 ] = M 1 M 2 X w = M X w

其中 M1,M2 M 1 , M 2 为相机的内参和外参