相机标定方法总结

内参外参同时标定

相机模型为
$$\left[\begin{array}{c}u\\ v\\ 1\end{array}\right]=\mathbf{K}\mathbf{R}\left[\begin{array}{c}{\mathbf{I}}_3|{-}_W{\mathbf{X}}_C\end{array}\right]\left[\begin{array}{c}x\\ y\\ z\\ 1\end{array}\right]=\left[\begin{array}{c}\mathbf{H}|\mathbf{h}\end{array}\right]\left[\begin{array}{c}x\\ y\\ z\\ 1\end{array}\right]$$
其中${}_W{\mathbf{X}}_C$为相机在世界系内的坐标。解出矩阵$\left[\begin{array}{c}\mathbf{H}|\mathbf{h}\end{array}\right]$后，由${\mathbf{H}}^{-1}={\mathbf{R}}^T{\mathbf{K}}^{-1}$对${\mathbf{H}}^{-1}$进行QR分解，即可解出$\mathbf{R}$和$\mathbf{K}$。${}_W{\mathbf{X}}_C=-{\mathbf{H}}^{-1}\mathbf{h}$。
矩阵$\left[\begin{array}{c}\mathbf{H}|\mathbf{h}\end{array}\right]$共有11个自由度，至少需要6个点，且不在同一平面上。

相机内参标定

取同一平面上的点，假设$z=0$，则有
$$\left[\begin{array}{c}u\\ v\\ 1\end{array}\right]=\left[\begin{array}{ccc}c& s& x_H\\ 0& c(1+m)& y_H\\ 0& 0& 1\end{array}\right]\left[\begin{array}{ccc}{r}_{11}& r_{12}& t_1\\ r_{21}& r_{22}& t_2\\ r_{31}& r_{32}& t_3\end{array}\right]\left[\begin{array}{c}x\\ y\\ 1\end{array}\right]=\mathbf{H}\left[\begin{array}{c}x\\ y\\ 1\end{array}\right]$$
由于$\mathbf{H}$有8个自由度，需用4个点解出$\mathbf{H}$。
记${\mathbf{r}}_1=\left[\begin{array}{c}{r}_{11}\\ r_{21}\\ r_{31}\end{array}\right]$，${\mathbf{h}}_1=\left[\begin{array}{c}{h}_{11}\\ h_{21}\\ h_{31}\end{array}\right]$。有${\mathbf{r}}_1={\mathbf{K}}^{-1}{\mathbf{h}}_1$，${\mathbf{r}}_2={\mathbf{K}}^{-1}{\mathbf{h}}_2$
$${\mathbf{r}}_1^T{\mathbf{r}}_2={{\mathbf{h}}_1}^T{\mathbf{K}}^{-T}{\mathbf{K}}^{-1}{\mathbf{h}}_2=0$$
$${\mathbf{r}}_1^T{\mathbf{r}}_1={{\mathbf{h}}_1}^T{\mathbf{K}}^{-T}{\mathbf{K}}^{-1}{\mathbf{h}}_1={{\mathbf{h}}_2}^T{\mathbf{K}}^{-T}{\mathbf{K}}^{-1}{\mathbf{h}}_2={\mathbf{r}}_2^T{\mathbf{r}}_2$$
令$\mathbf{B}:={\mathbf{K}}^{-T}{\mathbf{K}}^{-1}$，在解出矩阵$\mathbf{B}$后可由Cholesky分解解出矩阵$\mathbf{K}$。记$\mathbf{b}=\left(\begin{array}{cccccc}{b}_{11}& b_{12}& b_{13}& b_{21}& b_{22}& b_{23}\end{array}\right)$，${\mathbf{h}}_i\mathbf{B}{\mathbf{h}}_j={\mathbf{v}}_{ij}^T\mathbf{b}$。
对于每一个平面，有${\mathbf{v}}_{12}^T\mathbf{b}=0$和$({\mathbf{v}}_{11}^T-{\mathbf{v}}_{22}^T)\mathbf{b}=0$两个方程，由3个平面即可解出$\mathbf{b}$。

Fundamental Matrix

${\mathbf{x}}^{\prime }\mathbf{F}{\mathbf{x}}^{\prime \prime }=0$，其中${\mathbf{x}}^{\prime },{\mathbf{x}}^{\prime \prime }$为像素坐标。
将${\mathbf{x}}^{\prime }\mathbf{F}{\mathbf{x}}^{\prime \prime }=0$转化为$\mathbf{A}\mathbf{f}=0$。由8个点即可求解。$\hat{\mathbf{f}}$为矩阵$\mathbf{A}$特征值最小的特征向量。
$$\hat{\mathbf{F}}=\text{reshape}(\hat{\mathbf{f}},(3,3))$$
由于$\hat{\mathbf{F}}$需保证秩为2，故对$\hat{\mathbf{F}}$在作SVD分解，$\hat{\mathbf{F}}=\mathbf{U}\mathbf{D}{\mathbf{V}}^T$，
$$\mathbf{F}=\mathbf{U}\text{diag}(D_{11},D_{22},0){\mathbf{V}}^T$$

Essential Matrix

${}^k{\mathbf{x}}^{\prime }{\mathbf{E}}^k{\mathbf{x}}^{\prime \prime }=0$，其中${}^k{\mathbf{x}}^{\prime }{,}^k{\mathbf{x}}^{\prime \prime }$为关键点在相机系下的坐标。

方法一

与解Fundamental Matrix同理，$$\mathbf{E}=\mathbf{U}\text{diag}(1,1,0){\mathbf{V}}^T$$

方法二（五点法）

$\mathbf{E}={\mathbf{S}}_b{\mathbf{R}}^T$，共有5个自由度（位姿2，角度3）。
求解时用到$\det \mathbf{E}=0$以及$\mathbf{E}{\mathbf{E}}^T\mathbf{E}-\frac{1}{2}\text{trace}(\mathbf{E}{\mathbf{E}}^T)\mathbf{E}=0$两条性质。

IMU和相机相对位置标定

工具：Kalibr
总体思路：最小化加速度/角速度/关键点投影的估计值和实际测量值的差值