相机标定基础

1. 坐标系

• 世界坐标系：也称为测量坐标系，是一个三维直角坐标系。代表物体在真实世界里的三维坐标，坐标系用Xw，Yw，Zw表示。以其为基准可以描述相机和待测物体的空间位置。
• 相机坐标系：一个三维直角坐标系。原点位于镜头光心处（透镜的中心），水平轴Xc与垂直轴Yc分别于图像坐标系的X轴和Y轴平行，Z轴为相机光轴，坐标系用Xc，Yc，Zc表示。相机坐标系的原点与图像坐标系的原点之间的距离为f（也就是焦距）。
• 图像坐标系：一个二维直角坐标系。代表相机拍摄图像的坐标系，原点为相机光轴与成像平面的交点，是图像的中心点，x轴，y轴分别与图片平面的u轴，v轴平行，坐标系用X，Y表示。
• 像素坐标系：像素在图像中的位置{图像中常说的像素坐标}，也是一个二维直角坐标系。一般像素坐标系的左上角的顶点就是远点，水平向右是u，垂直向下是v轴。坐标系用u，v表示。像素坐标系和图像坐标系是平移关系。
  前三个坐标系的单位是毫米，而最后一个坐标系的单位是像素。
  

2. 相机的标定

2.1 概述

在图像测量过程以及机器视觉应用中，为确定空间物体表面某点的三维几何位置与其在图像中对应点之间的相互关系，必须建立相机成像的几何模型，这些几何模型参数就是相机参数。在大多数条件下这些参数必须通过实验与计算才能得到，这个求解参数的过程就称之为相机标定（或摄像机标定）。
一句话就是世界坐标到像素坐标的映射，当然这个世界坐标是我们人为去定义的，标定就是已知标定控制点的世界坐标和像素坐标我们去解算这个映射关系，一旦这个关系解算出来了我们就可以由点的像素坐标去反推它的世界坐标。标定过程涉及的矩阵主要包括以下三个：

• 外参数矩阵：告诉你现实世界点（世界坐标）是怎样经过旋转和平移，然后落到另一个现实世界点（相机坐标上）。
• 内参数矩阵：告诉你相机坐标系下的点，是如何继续经过摄像机的镜头、并通过针孔成像和电子转化而成为像素点的。
• 畸变矩阵：告诉你为什么上面那个像素点并没有落在理论计算该落在的位置上，还TM产生了一定的偏移和变形。

2.1.1 世界坐标系----相机坐标系

世界坐标系到相机坐标系的转换可以通过旋转和平移完成

写成齐次性矩阵：

引入齐次矩阵的目的是把平移和旋转两个矩阵整合起来，变换矩阵第二行[0，1]是为了让世界坐标系和相机坐标系统一为4维表示。这里的R、T矩阵就是相机的外参矩阵；

旋转矩阵可以理解为绕x/y/z三个轴旋转矩阵的乘积，即R = R1R2R3

2.1.2 相机坐标系----图像坐标系

如果有一个物体成像到图像坐标系，则可以用下图来表示（B点是相机坐标系中物体的点坐标，P是图像坐标系中成像的坐标）：

根据相似三角形定理，我们可以得到如下等式：

其中，f 为有效焦距（光心到图像平面的距离），单位一般为mm；
Zc为比例因子（等于相机坐标系下的Z）

2.1.3. 图像坐标系----像素坐标系

世界、相机和图像坐标系的单位都是毫米，我们最终需要转化到实际以像素为单位的坐标系中，即像素坐标系。图像坐标系和像素坐标系的关系如下图所示

根据平移关系可以求得如下等式：

uo/vo:像素中心点坐标[w/h的一半]
dx/dy:像素在x/y轴方向上的物理尺寸[mm/像素]

2.1.4.世界坐标系到像素坐标系

综合以上转换步骤，可以求得世界坐标点到图像像素点的转换如下：

• 至此，我们引出了相机标定的两个关键矩阵：内参矩阵和外参矩阵 其中f为摄像机焦距;
• dx,dy为像元尺寸;u0,v0为图像中心,所以标定完的结果一般等于分辨率的一半。fx = f/dx, fy=f/dy,分别称为x轴和y轴上的归一化焦距.
• 通过最终的转换关系来看，一个三维中的坐标点可以在图像中找到一个对应的像素点,注意最后求得的像素坐标实际为[Zcu, Zcv,Zc]，并非实际的像素点，故需除以最后一维参数求得。
• 通过图像中的一个点[像素坐标]无法求得世界坐标，因为我们并不知道等式左边的Zc的值。

2.2 畸变（distortion）

畸变（distortion）是对直线投影（rectilinear projection）的一种偏移。理论而言直线投影是场景内的一条直线投影到图片上也保持为一条直线，而畸变简单来说就是一条直线投影到图片上不能保持为一条直线了，这是一种光学畸变。
畸变一般可以分为两大类，包括径向畸变和切向畸变。一般主要为径向畸变有时也会有轻微的切向畸变。畸变还有其他类型的畸变，但是没有径向畸变、切向畸变显著，一般不关注

径向畸变来自于透镜形状
切向畸变来自于整个摄像机的组装过程

2.2.1.径向畸变

实际摄像机的透镜总是在成像仪的边缘产生显著的畸变，这种现象来源于“简形”或“鱼眼”的影响。
光学中心的畸变为０，随着向边缘移动，畸变越来越严重；常表现为光线在远离透镜中心的地方比靠近中心的地方更加弯曲。
径向畸变主要有三种：

• 桶形畸变（barrel distortion）
• 枕形畸变（pincushion distortion）
• 胡子畸变（mustache distortion）
  
  径向畸变矫正
  

其中：
r = x2 + y2
Xdis和Ydis表示有畸变的坐标；
Xcorr和Ycorr表示修复后的坐标；
k1，k2，k3表示径向畸变参数[这里其实是泰勒展开，一般展开至三阶足够]

2.2.2 切向畸变

切向畸变是由于透镜制造上的缺陷使得透镜本身与图像平面不平行而产生的[当透镜不完全平行于图像平面时候产生切向畸变]。
切向畸变可分为：薄透镜畸变、离心畸变
切向畸变矫正:

*** 其中p1、p2表示切向畸变参数

综上可以求得相机的畸变模型如下，我们一般只考虑径向畸变k和切向畸变p
所以最终得到5个畸变参数：

D = (K1,K2,P1,P2,K3)

2.3.总结：

对于相机标定，我们到底需要标定什么？

• 内参

K = (fx,fy,uo,vo)

• 外参

R T

• 畸变参数

D = (K1,K2,K3,P1,P2)