本质矩阵 基础矩阵 单应矩阵 (3)

除了基本矩阵和本质矩阵，我们还有一种称为单应矩阵（Homography） $H$ 的东西，它描述了两个平面之间的映射关系。若场景中的特征点都落在同一平面上（比如墙，地面等），则可以通过单应性来进行运动估计。这种情况在无人机携带的俯视相机，或扫地机携带的顶视相机中比较常见。

单应矩阵通常描述处于共同平面上的一些点，在两张图像之间的变换关系。考虑在图像 $I1$ 和 $I2$ 有一对匹配好的特征点 $p1$ 和 $p2$。这些特征点落在某平面上。设这个平面满足方程：

${\mathbf{n}}^T\mathbf{P}+d=0$

稍加整理，得：

$-\frac{{\mathbf{n}}^T\mathbf{P}}{d}=1$

然后，得：
$\begin{array}{rl}{p}_2& \simeq K(RP+t)\\ & \simeq K\left(RP+t\cdot \left(-\frac{n^{T}P}{d}\right)\right)\\ & \simeq K\left(R-\frac{t{n}^T}{d}\right)P\\ & \simeq K\left(R-\frac{t{n}^T}{d}\right)K^{-1}{p}_1\end{array}$

于是，我们得到了一个直接描述图像坐标 $p1$ 和 $p2$ 之间的变换，把中间这部分记为 $H$，于是:
$p_2\simeq H{p}_1$

它的定义与旋转、平移以及平面的参数有关。与基础矩阵 $F$ 类似，单应矩阵 $H$ 也是一个 $3\times 3$ 的矩阵，求解时的思路也和 $F$ 类似，同样地可以先根据匹配点计算 $H$，然后将它分解以计算旋转和平移。把上式展开，得：
$\left(\begin{array}{c}{u}_2\\ v_2\\ 1\end{array}\right)\simeq \left(\begin{array}{ccc}{h}_1& h_2& h_3\\ h_4& h_5& h_6\\ h_7& h_8& h_9\end{array}\right)\left(\begin{array}{c}{u}_1\\ v_1\\ 1\end{array}\right)$

请注意，这里的等号依然是$\simeq$而不是普通的等号，所以H矩阵也可以乘以任意非零常数。我们在实际处理中可以令$h_9=1$（在它取非零值时）。然后根据第$3$行，去掉这个非零因子，于是有

$u_2=\frac{h_1{u}_1+h_2{v}_1+h_3}{h_7{u}_1+h_8{v}_1+h_9}$

$v_2=\frac{h_4{u}_1+h_5{v}_1+h_6}{h_7{u}_1+h_8{v}_1+h_9}$

整理得：
$h_1{u}_1+h_2{v}_1+h_3-h_7{u}_1{u}_2-h_8{v}_1{u}_2=u_2$
$h_4{u}_1+h_5{v}_1+h_6-h_7{u}_1{v}_2-h_8{v}_1{v}_2=v_2.$

这样一组匹配点对就可以构造出两项约束（事实上有三个约束，但是因为线性相关，只取前两个），于是自由度为 $8$ 的单应矩阵可以通过 $4$ 对匹配特征点算出（在非退化的情况下，即这些特征点不能有三点共线的情况），即求解以下的线性方程组（当 $h_9$ = 0 时，右侧为零）：

$\left(\begin{array}{cccccccc}{u}_1^1& v_1^1& 1& 0& 0& 0& -u_1^1{u}_2^1& -v_1^1{u}_2^1\\ 0& 0& 0& u_1^1& v_1^1& 1& -u_1^1{v}_2^1& -v_1^1{v}_2^1\\ u_1^2& v_1^2& 1& 0& 0& 0& -u_1^2{u}_2^2& -v_1^2{u}_2^2\\ 0& 0& 0& u_1^2& v_1^2& 1& -u_1^2{v}_2^2& -v_1^2{v}_2^2\\ u_1^3& v_1^3& 1& 0& 0& 0& -u_1^3{u}_2^3& -v_1^3{u}_2^3\\ 0& 0& 0& u_1^3& v_1^3& 1& -u_1^3{v}_2^3& -v_1^3{v}_2^3\\ u_1^4& v_1^4& 1& 0& 0& 0& -u_1^4{u}_2^4& -v_1^4{u}_2^4\\ 0& 0& 0& u_1^4& v_1^4& 1& -u_1^4{v}_2^4& -v_1^4{v}_2^4\end{array}\right)\left(\begin{array}{c}{h}_1\\ h_2\\ h_3\\ h_4\\ h_5\\ h_6\\ h_7\\ h_8\end{array}\right)=\left(\begin{array}{c}{u}_2^1\\ v_2^1\\ u_2^2\\ v_2^2\\ u_2^3\\ v_2^3\\ u_2^4\\ v_2^4\end{array}\right)$

这种做法把 $H$ 矩阵看成了向量，通过解该向量的线性方程来恢复 $H$，又称直接线性变换（Direct Linear Transform）。与本质矩阵相似，求出单应矩阵以后需要对其进行分解，才可以得到相应的旋转矩阵 R 和平移向量 t。分解的方法包括数值法与解析法。与本质矩阵的分解类似，单应矩阵的分解同样会返回四组旋转矩阵与平移向量，并且同时可以计算出它们分别对应的场景点所在平面的法向量。如果已知成像的地图点的深度全为正值（即在相机前方），则又可以排除两组解。最后仅剩两组解，这时需要通过更多的先验信息进行判断。通常我们可以通过假设已知场景平面的法向量来解决，如场景平面与相机平面平行，那么法向量 $n$ 的理论值为 $1^T$。