python 相机标定的原理、步骤、实现

一、相机标定的原理

1.1 相机如何成像：

相机成像系统中，共包含四个坐标系：世界坐标系、相机坐标系、图像坐标系、像素坐标系。
相机成像的原理：

1.1.1 世界坐标系：

世界坐标系（world coordinate），也称为测量坐标系，是一个三维直角坐标系，以其为基准可以描述相机和待测物体的空间位置。世界坐标系的位置可以根据实际情况自由确定。

1.1.2 相机坐标系：

相机坐标系（camera coordinate），也是一个三维直角坐标系，原点位于镜头光心处，x、y轴分别与相面的两边平行，z轴为镜头光轴，与像平面垂直

1.1.3 像素坐标系、图像坐标系：

像素坐标系（pixel coordinate）
如上图，像素坐标系是一个二维直角坐标系，反映了相机CCD/CMOS芯片中像素的排列情况。原点位于图像的左上角，轴、轴分别于像面的两边平行。像素坐标系中坐标轴的单位是像素（整数）。

像素坐标系不利于坐标变换，因此需要建立图像坐标系，其坐标轴的单位通常为毫米（mm），原点是相机光轴与相面的交点（称为主点），即图像的中心点，轴、轴分别与轴、轴平行。故两个坐标系实际是平移关系，即可以通过平移就可得到。

1.2 相机标定的目的：

求出相机的内、外参数，以及畸变参数。

标定相机后通常是想做两件事：一个是由于每个镜头的畸变程度各不相同，通过相机标定可以校正这种镜头畸变矫正畸变，生成矫正后的图像；另一个是根据获得的图像重构三维场景。

1.2 相机标定的总体原理：

摄像机标定（Camera calibraTIon）简单来说就是从世界坐标系换到图像坐标系的过程，也就是求最终的投影矩阵的过程。

1.3 步骤：

1.3.1 刚体变换（从世界坐标系到相机坐标系）

这一步是三维点到三维点的转换，包括相机外参；
刚体变换只改变物体的空间位置(平移)和朝向(旋转)，而不改变其形状，可用两个变量来描述：旋转矩阵R和平移向量t：

其中为33的旋转矩阵，为31的平移矢量，为相机坐标系的齐次坐标，为世界坐标系的齐次坐标。

齐次坐标下可写为：

旋转矩阵R是正交矩阵，可通过罗德里格斯（Rodrigues）变换转换为只有三个独立变量的旋转向量：

因此，刚体变换可用6个参数来描述，这6个参数就称为相机的外参(Extrinsic)，相机外参决定了空间点从世界坐标系转换到相机坐标系的变换，也可以说外参描述了相机在世界坐标系中的位置和朝向。

1.3.2 透视投影（从相机坐标系到图像坐标系）

我们可以将透镜的成像简单地抽象成下图所示：

针孔成像原理
如图中，空间任意一点与其图像点之间的关系，p与相机光心 的连线为op，与像面的交点即为空间点在图像平面上的投影。 该过程为透视投影，由上图的矩阵表示。

其中，Zc为比例因子（Zc不为0），为有效焦距（光心到图像平面的距离），是空间点在相机坐标系中的齐次坐标，是像点在图像坐标系中的齐次坐标。

1.3.3 畸变矫正

理想的针孔成像模型确定的坐标变换关系均为线性的，而实际上，现实中使用的相机由于镜头中镜片因为光线的通过产生的不规则的折射，镜头畸变（lens distortion）总是存在的，即根据理想针孔成像模型计算出来的像点坐标与实际坐标存在偏差。畸变的引入使得成像模型中的几何变换关系变为非线性，增加了模型的复杂度，但更接近真实情形。畸变导致的成像失真可分为径向失真和切向失真两类：

畸变类型很多，总体上可分为径向畸变和切向畸变两类，径向畸变的形成原因是镜头制造工艺不完美，使得镜头形状存在缺陷，包括枕形畸变和桶形畸变等，可以用如下表达式来描述：

切向畸变又分为薄透镜畸变和离心畸变等，薄透镜畸变则是因为透镜存在一定的细微倾斜造成的；离心畸变的形成原因是镜头是由多个透镜组合而成的，而各个透镜的光轴不在同一条中心线上。切向畸变可以用如下数学表达式来描述：

在引入镜头的畸变后，成像点从理想图像坐标系到真实图像坐标系的变换关系可以表示为：

实际计算过程中，如果考虑太多高阶的畸变参数，会导致标定求解的不稳定。

1.3.4 数字化图像

光线通过相机镜头后最终成像在感光阵列(CCD或CMOS)上，然后感光阵列将光信号转化为电信号，最后形成完整的图像。我们用dx和dy分别表示感光阵列的每个点在x和y方向上物理尺寸，即一个像素是多少毫米，这两个值一般比较接近，但由于制造工艺的精度问题，会有一定误差，同样的，感光阵列的法向和相机光轴也不是完全重合，即可以看作成像平面与光轴不垂直。

我们用仿射变换来描述这个过程，如上图，O点是图像中心点，对应图像坐标(u0，v0)，Xd - Yd是真实图像坐标系，U-V是数字化图像坐标系，有：

齐次坐标下有：

上式中的变换矩阵即为相机的内参数矩阵 K，其描述了相机坐标系中点到二维图像上点的变换过程。

综上所述，在不考虑镜头畸变的情况下，相机的整个成像过程可表示为：

1.3.5 相机参数标定

参数标定即通过一定方法求得上述成像模型中的各个未知量（5个内参、6个外参以及畸变参数）。
这里主要介绍张正友平面标定法，其操作相对简单，且精度较高，实际应用中很常用。
整个标定过程包括如下步骤：
1、打印一张棋盘格，把它贴在一个平面上，作为标定物。
2、通过调整标定物或摄像机的方向，为标定物拍摄一些不同方向的照片。
3、从照片中提取棋盘格角点。
4、估算理想无畸变的情况下，五个内参和六个外参。
5、应用最小二乘法估算实际存在径向畸变下的畸变系数。
6、极大似然法，优化估计，提升估计精度。

二、相机标定的步骤

1）、准备一个张正友标定法的棋盘格，棋盘格大小已知，用相机对其进行不同角度的拍摄，得到一组图像；

2）、对图像中的特征点如标定板角点进行检测，得到标定板角点的像素坐标值，根据已知的棋盘格大小和世界坐标系原点，计算得到标定板角点的物理坐标值；

3）、求解内参矩阵与外参矩阵。

根据物理坐标值和像素坐标值的关系，求出 H 矩阵，进而构造 V 矩阵，求解 B 矩阵，利用B矩阵求解相机内参矩阵 A ，最后求解每张图片对应的相机外参矩阵 :

4）、求解畸变参数。

构造 D 矩阵，计算径向畸变参数；

5）、利用L-M（Levenberg-Marquardt）算法对上述参数进行优化

三、实现

3.1 数据准备

手机型号：iphone7

3.2 代码(Python+OpenCV)

import cv2
import numpy as np
import glob

# 找棋盘格角点
# 阈值
# 设置寻找亚像素角点的参数，采用的停止准则是最大循环次数30和最大误差容限0.001
criteria = (cv2.TERM_CRITERIA_EPS + cv2.TERM_CRITERIA_MAX_ITER, 30, 0.001)

# 棋盘格模板规格
w = 6  # 内角点个数，内角点是和其他格子连着的点
h = 4

# 获取标定板角点的位置
# 世界坐标系中的棋盘格点,例如(0,0,0), (1,0,0), (2,0,0) ....,(8,5,0)，去掉Z坐标，记为二维矩阵
objp = np.zeros((w * h, 3), np.float32)
objp[:, :2] = np.mgrid[0:w, 0:h].T.reshape(-1, 2)

# 储存棋盘格角点的世界坐标和图像坐标对
objpoints = []  # 在世界坐标系中的三维点
imgpoints = []  # 在图像平面的二维点

# 读取照片
images = glob.glob('picture/*.jpg')
for fname in images:
    img = cv2.imread(fname)
    gray = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY)
    # 找到棋盘格角点
    # 棋盘图像(8位灰度或彩色图像)  棋盘尺寸  存放角点的位置
    ret, corners = cv2.findChessboardCorners(gray, (w, h), None)
    # 如果找到足够点对，将其存储起来
    if ret == True:
        # 角点精确检测
        # 参数：输入图像 角点初始坐标 搜索窗口为2*winsize+1 死区 求角点的迭代终止条件
        cv2.cornerSubPix(gray, corners, (11, 11), (-1, -1), criteria)
        objpoints.append(objp)
        imgpoints.append(corners)
        # 将角点在图像上显示
        cv2.drawChessboardCorners(img, (w, h), corners, ret)
        cv2.imshow('findCorners', img)
        cv2.waitKey(1000)
cv2.destroyAllWindows()

# 标定、去畸变
# 输入：世界坐标系里的位置 像素坐标 图像的像素尺寸大小 3*3矩阵，相机内参数矩阵 畸变矩阵
# 输出：标定结果 相机的内参数矩阵 畸变系数 旋转矩阵 平移向量
ret, mtx, dist, rvecs, tvecs = cv2.calibrateCamera(objpoints, imgpoints, gray.shape[::-1], None, None)
# mtx：内参数矩阵
# dist：畸变系数
# rvecs：旋转向量 （外参数）
# tvecs ：平移向量 （外参数）
print("标定结果 ret:", ret)
print("内参矩阵 mtx:\n", mtx)  # 内参数矩阵
print("畸变系数 dist:\n", dist)  # 畸变系数   distortion cofficients = (k_1,k_2,p_1,p_2,k_3)
print("旋转向量(外参) rvecs:\n", rvecs)  # 旋转向量  # 外参数
print("平移向量(外参) tvecs:\n", tvecs)  # 平移向量  # 外参数
# 去畸变
img2 = cv2.imread('picture/4_d.jpg')
h, w = img2.shape[:2]
# 我们已经得到了相机内参和畸变系数，在将图像去畸变之前，
# 我们还可以使用cv.getOptimalNewCameraMatrix()优化内参数和畸变系数，
# 通过设定自由自由比例因子alpha。当alpha设为0的时候，
# 将会返回一个剪裁过的将去畸变后不想要的像素去掉的内参数和畸变系数；
# 当alpha设为1的时候，将会返回一个包含额外黑色像素点的内参数和畸变系数，并返回一个ROI用于将其剪裁掉
newcameramtx, roi = cv2.getOptimalNewCameraMatrix(mtx, dist, (w, h), 0, (w, h))  # 自由比例参数

dst = cv2.undistort(img2, mtx, dist, None, newcameramtx)
# 根据前面ROI区域裁剪图片
x, y, w, h = roi
dst = dst[y:y + h, x:x + w]
cv2.imwrite('calibresult.jpg', dst)

# 反投影误差
# 通过反投影误差，我们可以来评估结果的好坏。越接近0，说明结果越理想。
# 通过之前计算的内参数矩阵、畸变系数、旋转矩阵和平移向量，使用cv2.projectPoints()计算三维点到二维图像的投影，
# 然后计算反投影得到的点与图像上检测到的点的误差，最后计算一个对于所有标定图像的平均误差，这个值就是反投影误差。
total_error = 0
for i in range(len(objpoints)):
    imgpoints2, _ = cv2.projectPoints(objpoints[i], rvecs[i], tvecs[i], mtx, dist)
    error = cv2.norm(imgpoints[i], imgpoints2, cv2.NORM_L2) / len(imgpoints2)
    total_error += error
print(("total error: "), total_error / len(objpoints))

四、运行结果

对标定结果进行评价的方法是通过得到的摄像机内外参数，对空间的三维点进行重新投影计算，得到空间三维点在图像上新的投影点的坐标，计算投影坐标和亚像素角点坐标之间的偏差，偏差越小，标定结果越好。
标定样例：

参数：


内参矩阵的参数含义：
f：焦距，单位毫米，dx：像素x方向宽度，单位毫米，1/dx：x方向1毫米内有多少个像素
f/dx：使用像素来描述x轴方向焦距的长度
f/dy：使用像素来描述y轴方向焦距的长度
u0,v0,主点的实际位置，单位也是像素。

反投影误差:
通过反投影误差，我们可以来评估结果的好坏。越接近0，说明结果越理想。通过之前计算的内参数矩阵、畸变系数、旋转矩阵和平移向量，使用cv2.projectPoints()计算三维点到二维图像的投影，然后计算反投影得到的点与图像上检测到的点的误差，最后计算一个对于所有标定图像的平均误差，这个值就是反投影误差。
从实验结果看反投影误差输出为：
total error: 0.26646016743824297
误差接近与0，说明结果还不错。

纠正图像：
我们已经得到了相机内参和畸变系数，在将图像去畸变之前，我们还可以使用cv.getOptimalNewCameraMatrix()优化内参数和畸变系数，通过设定自由自由比例因子alpha。当alpha设为0的时候，将会返回一个剪裁过的将去畸变后不想要的像素去掉的内参数和畸变系数；当alpha设为1的时候，将会返回一个包含额外黑色像素点的内参数和畸变系数，并返回一个ROI用于将其剪裁掉。
在代码中，我们将alpha参数设为0，得到裁剪的图片：

去畸变前：

去畸变后:

参考1
参考2
参考3