计算机视觉基础（9）——相机标定与对极几何

前言

本节我们将学习相机标定和对极几何两部分的内容。

在相机标定部分，我们将学习直接线性变换（Direct Linear Transform, DL）,张正友标定法（Zhang’s Method）和 Perspective-n-Point (PnP) 这三种方法。

在对极几何部分，我们将了解极平面、基线、极点和极线等概念，以及相机相对位姿估计和对极约束。

一、相机标定

1.1  相机内外参

内参：描述相机本身的属性，同一相机，内参固定

外参：描述相机的姿态、位置，随时间变化

让我们来回顾一下相机的成像过程

1.2  相机标定概述

通过实验的方法计算和估计相机内外参数的过程称为相机标定(Camera Calibration)

相机标定的应用有：

• 矫正透镜畸变（内参标定）

• 建立相机成像几何模型，实现三维重构

相机标定的意义：

• 相机标定是非常关键的环节，标定结果的精度直接影响相机工作产生结果的准确性

• 做好相机标定是做好后续工作的前提

下面讲解三种相机标定的常见方法：

• 直接线性变换 (Direct Linear Transform, DLT)——同时估计内外参

• 张正友标定法 (Zhang’s Method)——估计内参

• Perspective-n-Point (PnP)——估计外参

1.3  直接线性变换（DLT）

1.3.1  基本设定

• 已知：部分参考点在图像坐标系和世界坐标系下的坐标

• 求解：相机的内参矩阵、外参与

1.3.2  世界坐标系到图像坐标系的映射

1.3.3  关于矩阵M自由度的解释

1.3.4  DLT算法的基本思路和流程

1.3.5  小结

• DLT方法通过计算未标定数据 (Uncalibrated Camera)的映射参数矩阵，来计算相机内外参

• 需要已知至少6个观测点的世界坐标和图像坐标

• 当已知观测点近似落在同一平面时，DLT求解不稳定

1.4  张正友标定法

【参考文献】

Zhang, A flexible new technique for camera calibration, IEEE TPAMI, 2000

1.4.1  标定工具：标定板

相机标定往往需要观测点在世界坐标系中的坐标，但是世界坐标不易测量

因此，引入二维标定板：

• 由规则的黑白棋盘格构成，尺寸已知

• 网格点可以被角点检测算法自动、准确检测出

• 在标定板上建立世界坐标系，标定板位于Z=0平面，网格点作为观测点

二维标定板的优势如下：

1. 观测点世界坐标易得
2. Z=0降低了求解复杂度

1.4.2  从世界坐标系到图像坐标系的映射

• 用于描述两个平面之间的映射关系

• 共有3 × 3 = 9个元素，但由于齐次性，自由度为8

1.4.3  求解内参矩阵

1.4.4  张氏标定法基本思路和流程 

1. 在标定板上建立世界坐标系，并以不同的位姿对其拍摄3张以上图像(可以晃动标定板或改变相机姿态)
2. 利用角点检测算法对每张图中标定板上的网格点进行检测，每张图选取4个以上网格点作为标定点，并读取标定点的图像坐标和世界坐标
3. 利用3张图像的观测点列出3个方程组，通过SVD分解计算3个单映矩阵
4. 利用三个单映矩阵 列出6个关于矩阵 的方程，并利用SVD分解求出  
5. 由于 = −⊺− ,对求出的 进行cholesky 矩阵分解： = ⊺→ = −⊺

1.5  PnP

1.5.1  基本设定

• 已知：至少3个参考点在图像坐标系和世界坐标系下的坐标，相机的内参矩阵

• 求解：外参与，即估计相机在世界坐标系下的位置

1.5.2  基本思路

二、对极几何

2.1  对极几何(Epipolar Geometry)简介

• 以上三种相机标定方法均需图像中观测点的世界坐标

• 相比于世界坐标，观测点的图像坐标更容易获取

• 给定同一场景的两张图像，能否仅根据对应点的图像坐标估计相机的相对姿态？

• 利用对极几何约束

2.2  对极几何的基本设定

• , 是同一场景拍摄的两张图像，, 是拍摄时的相机中心

• 相机的相对运动/姿态为 ,

• 换言之，以相机的相机坐标系为世界坐标系，相机的外参是,

• 空间中的点在两图中投影为,

• 平面  称为极平面 (Epipolar Plane),   称为基线(Baseline)，基线与 , 的交点 ,  称为极点 (Epipole)，极平面与两张图像的交线 (, ) 称为极线 (Epipolar Line)

2.3  极线的物理意义

1. 在仅已知投影点坐标的情况下，无法获得3D点的具体未知，只能推断出点在投影射线上
2. 直线在图像上的投影就是极线
3. 所以空间中投影在图像上位置上的点在图像上对应点位于直线上
4. 换言之，图像上的一个点与图像上的一条直线对应

2.4  极线的解析式

【对极约束】

2.5  相机相对位姿估计与对极约束

• 给定两张图8个以上对应点，可以通过8点法求解线性齐次系统求出基础矩阵，然后如果相机已经进行标定（即 已知）可以求出本质矩阵，并进一步求出两个相机的相对位姿
• 由于本质矩阵的齐次性，无法只通过对应点估计出相对位姿的绝对尺度
• 如果已知两个相机的相对位姿，可以求出基础矩阵，进而获得极线的位置。点在图像上的对应点搜索空间可以从整幅图像缩小到极线上

总结

本节我们学习了相机标定和对极几何的基本概念。重点需要掌握直接线性变换和张正友标定法的基本流程，知道这两种方法需要几个观测点和几张图像能完成标定。还需要知道对极几何中极平面、基线、极点和极线的基本概念并在图中对应。最后需要掌握极线解析式的推导过程，知道两个约束关系以及其代表的物理含义，知道相机的相对位姿估计。