《计算机视觉中的多视图几何》笔记（14）

14 Affine Epipolar Geometry

本章主要是在仿射摄像机的情况下重新考虑对极几何，也就是仿射对极几何。

仿射摄像机的优点是它是线性的，所以很多最优化算法可以用线性代数的知识解决。如果是一般的投影摄像机，很多算法就不是线性的了（比如三角化）。

14.1 Affine epipolar geometry

仿射摄像机的特点是它的光心在无穷远，所以从三维空间像二维平面投影时，投影射线时互相平行的。在这种情况下，对极几何就可以得到简化。

极线 所有极线都是互相平行的，因为不同点向图像投影的射线是平行的。

极点 因为所有极线互相平行，那么极点在无穷远处。

14.2 The affine fundamental matrix

仿射基本矩阵$F_A$长这样：

[ 0 0 a 0 0 b c d e ] \left[ \begin{matrix} 0 & 0 & a \\ 0 & 0 & b \\ c & d & e \\ \end{matrix} \right] ​00c​00d​abe​ ​
因为$a，b，c，d，e$都不为0，那么$F_A$的秩就是3，一般情况下，$F$秩是2。

14.2.1 Derivation

接下来讲一下$F_A$的推导过程。

从几何角度推导$F_A$的过程

1. 考虑对应点之间的对应关系。因为从图像1到空间平面，再到图像2的所有变换都是基于平面的仿射变换，所以对应点之间的变换也是仿射变换，也就是$x^{\prime }=H_{A}x$
2. 构造极线。极线是通过极点和$x^{\prime }$构造的。所以$l^{\prime }=e^{\prime }\times H_{A}x=F_{A}x$，所以$F_A=[e^{\prime }{]}_{\times }{H}_A$。我们现在考虑仿射矩阵的特殊形式，以及当$e^{\prime }$为无穷大时的偏斜矩阵$[e^{\prime }{]}_{\times }$，因此最后一个元素为零，具体展开如下：

F A = [ e ′ ] × H A = [ 0 0 ∗ 0 0 ∗ ∗ ∗ 0 ] [ ∗ ∗ ∗ ∗ ∗ ∗ 0 0 1 ] = [ 0 0 ∗ 0 0 ∗ ∗ ∗ ∗ ] F_A =[e']_{\times} H_A \\ = \left[ \begin{matrix} 0 & 0 & * \\ 0 & 0 & * \\ * & * & 0 \\ \end{matrix} \right] \left[ \begin{matrix} * & * & * \\ * & * & * \\ 0 & 0 & 1 \\ \end{matrix} \right] \\ = \left[ \begin{matrix} 0 & 0 & * \\ 0 & 0 & * \\ * & * & * \\ \end{matrix} \right] FA​=[e′]×​HA​= ​00∗​00∗​∗∗0​ ​ ​∗∗0​∗∗0​∗∗1​ ​= ​00∗​00∗​∗∗∗​ ​

从代数角度推导$F_A$的过程

$F=[e^{\prime }{]}_{\times }{P}^{\prime }{P}^{+}$，把仿射摄像机的矩阵带入即可。

14.2.2 Properties

$F_A$有5个非零元素，所以有4个自由度，是这么算的：2个极点，每个贡献一个自由度，2个平面上的极线互相映射，贡献2个自由度。

因为$F_{A}e=0$，所以极点表示为$(-d，c，0)$，所以$e$在$l_{\infty }$上。

点$x$对应的极线$l^{\prime }=F_{A}x=(a，b，cx+dy+e{)}^T$，此式表明所有的极线都是平行的，因为$(a，b)$与$(x，y)$互相独立

14.3 Estimating $F_A$ from image point correspondences

给定若干对对应点，矩阵是$x^{{}^{\prime }T}{F}_{A}x=0$定义的，所以我们可以从对应点中计算$F_A$。

14.3.1 The linear algorithm

因为$F_A$规定了点与点之间的对应关系，所以给出足够过的点，肯定是能把$F_A$计算出来的。比如我们规定$x_i=(x_i，y_i，1)，x_i^{\prime }=(x_i^{\prime }，y_i^{\prime }，1)$。这样一对对应点可以构造一个线性方程：
$$a{x}_i^{\prime }+b{y}_i^{\prime }+c{x}_i+d{y}_i+e=0$$

写成矩阵形式就是$Af=0$，$A$是一个$n\times 5$的矩阵，最少需要4对点。$F_A$有4个自由度，剩下的1个变量可由其他4个来表示。

奇异性约束

我们知道一般情况的$F$是奇异矩阵，所以$F_A$也应该是一个奇异性矩阵。而且$F_A$的形式就确定了它的rank不会大于2，所以没有必要将奇异性约束像求普通$F$那样加入求解的过程，换言之，不用考虑这个约束，直接求解就可以了。

几何解释

求解两个图像上的对应点就是在四维空间中去拟合一个平面（$a{x}_i^{\prime }+b{y}_i^{\prime }+c{x}_i+d{y}_i+e=0$ 就是四维空间中的平面）。这样做有两个好处：第一，求$F$就是一个平面拟合过程，容易思考。第二，可以用sampson损失函数，因为它是唯一的一阶近似方法。

14.3.2 The Gold Standard algorithm

知道了求解$F$的几何解释，我们就用这个几何解释来求解它。求解的过程就是黄金标准算法。我们考虑有噪声的情况，理论点可以表示为$\widehat{x_i}，{\widehat{x_i}}^{\prime }$，实际观测点是$x_i，x_i^{\prime }$，所谓的黄金标准算法就是优化以下函数：

$$min\sum _{i}d(x_i，\widehat{x_i}{)}^2+d(x_i^{\prime }，{\widehat{x_i}}^{\prime }{)}^2$$

其中$\widehat{x_i}，{\widehat{x_i}}^{\prime }$满足${\widehat{x_i}}^{{}^{\prime }T}{F}_A\widehat{x_i}=0$，如果我们考虑几何解释，我们就可以考虑四维空间的一个点$X_i=(x_i^{\prime }，y_i^{\prime }，x_i，y_i)$，用这个点去拟合一个平面，其参数为$(a，b，c，d，e)$，那么就是求点到平面的最小距离。
$$d_{\perp }=\frac{a{x}_i^{\prime }，b{y}_i^{\prime }+c{x}_i+d{y}_i+e}{\sqrt{a^2+b^2+c^2+d^2}}$$

求解cost function函数的过程如下：
先对$e$求导数，令其等于0，可以得到：
$$e=-\frac{1}{n}\sum (N^T{X}_i)=-N^T\bar{X}$$

$$N=(a，b，c，d)$$

$\bar{N}$就是所有已知$X$的均值，也就是质心。

把$e$反带回$d_{\perp }$ 得到：

$$d_{\perp }=\frac{1}{||N|{|}^2}\sum _i(N^T\Delta X_i)$$

$$\Delta X_i=X_i-\bar{X}$$

用$\Delta X_i$的行构造一个矩阵，然后直接SVD分解就可以了。
最后一个需要注意的点：黄金标准算法需要多于4对对应点。那么如果我们只知道4对对应点，该怎么办? 下面的算法来解决。

4对对应点求解$F_A$ 的步骤如下：

1. 用前三对对应点计算一个仿射变换$H_A$，也就是求解$x_i^{\prime }=H_A{x}_i$
2. 用$H_A$计算$H_A{x}_4$，然后$(H_A{x}_4\times x_4^{\prime })$ 得到极线$l^{\prime }$
   那么极点就是$e^{\prime }=(-l_2^{\prime }，l_1^{\prime }，0)$
3. 所以对任何一个点$x$，它对应的极线就是$e^{\prime }\times (H_{A}x)=F_{A}x$

14.4 Triangulation

现在假设我们知道一对对应点$(x，y)\leftrightarrow (x^{\prime }，y^{\prime })$ 和仿射基本矩阵$F_A$，因为已知对应点是含噪声的，我们想要确定不含噪声的点$(\hat{x}，\hat{y})\leftrightarrow ({\hat{x}}^{\prime }，{\hat{y}}^{\prime })$ 所以我们得到一个带约束的优化：

$$(x-\hat{x}{)}^2+(y-\hat{y}{)}^2+(x^{\prime }-{\hat{x}}^{\prime }{)}^2+(y-{\hat{y}}^{\prime }{)}^2$$

同时：

$$(\hat{x}，\hat{y}，1)F_A({\hat{x}}^{\prime }，{\hat{y}}^{\prime }，1)=0$$

那么怎么样求解呢? 除了几何解释的求解法以外，我们还可以用sampson损失函数：

( x ^ ′ y ^ ′ x ^ y ^ ) = ( x ′ y ′ x y ) − a x ′ + b y ′ + c x + d y + e a 2 + b 2 + c 2 + d 2 ( a b c d ) \begin{pmatrix} \hat{x}' \\ \hat{y}' \\ \hat{x} \\ \hat{y} \\ \end{pmatrix}= \begin{pmatrix} x' \\ y' \\ x \\ y \\ \end{pmatrix}- \frac{ax'+by'+cx+dy+e}{a^2+b^2+c^2+d^2} \begin{pmatrix} a \\ b \\ c \\ d \\ \end{pmatrix} ​x^′y^​′x^y^​​ ​= ​x′y′xy​ ​−a2+b2+c2+d2ax′+by′+cx+dy+e​ ​abcd​ ​

14.5 Affine reconstruction

假设我们有多于4对对应点$x_i\leftrightarrow x_i^{\prime }$，如果摄像机是投影摄像机，那么重建的结果就是投影重建。现在如果摄像机是仿射摄像机，那么重建结果就是仿射重建。本节就来说明这个结果。

我们假设空间中有4个不共面的点$X_i$，我们选择$X_0$作为原点。然后我们构造三个坐标轴，表示为$\widetilde{E_i}=\widetilde{X_i}-\widetilde{X_0}$。所以对于一个空间中的点$X=(x，y，z)$，它的坐标就可以表示为：

$$\tilde{X}=X_0+x\widetilde{E_1}+y\widetilde{E_2}+z\widetilde{E_3}$$

X 0 ~ = ( 0 0 0 ) X 1 ~ = ( 1 0 0 ) X 2 ~ = ( 0 1 0 ) X 3 ~ = ( 0 0 1 ) \tilde{X_0} = \begin{pmatrix} 0 \\ 0 \\ 0 \\ \end{pmatrix} \tilde{X_1} = \begin{pmatrix} 1 \\ 0 \\ 0 \\ \end{pmatrix} \tilde{X_2} = \begin{pmatrix} 0 \\ 1 \\ 0 \\ \end{pmatrix} \tilde{X_3} = \begin{pmatrix} 0 \\ 0 \\ 1 \\ \end{pmatrix} X0​~​= ​000​ ​X1​~​= ​100​ ​X2​~​= ​010​ ​X3​~​= ​001​ ​

有了这些公式以后，我们来看看仿射摄像机的投影过程长什么样，该过程可以被表达为：
$$\tilde{x}=M_{2\times 3}\tilde{X}+\tilde{t}$$

所以说上文的$\widetilde{E_i}$可以被表示成$\widetilde{e_i}=M_{2\times 3}\widetilde{E_i}$，那么对于空间点$X=(x，y，z)$，它在第一幅图像中就可以被表示成：
$$x\widetilde{e_1}+y\widetilde{e_2}+z\widetilde{e_3}$$

对于第二幅图象，${\tilde{e}}^{\prime }=M_{2\times 3}\widetilde{E_i}$，那么$X$在第二幅图象中就可以表示成：

$$x{\widetilde{e_1}}^{\prime }+y{\widetilde{e_2}}^{\prime }+z{\widetilde{e_3}}^{\prime }$$

14.6 Necker reversal and the bas-relief ambiguity

本章主要讲述在已标定摄像机的情况下，只用两个图像会产生一系列的歧义.
主要是两种歧义:

1. Necker reversal
   主要原因是物体旋转$\rho$ 和旋转$-\rho$的镜像，在affine摄像机下会产生同样的投影图像。如果是透视投影，那么每个点都会有不同的深度，所以这种歧义就没有了。

2. The bas-relief ambiguity
   主要原因是摄像机进行一个旋转后，从光心出发的光线依旧相交于同一点。这样导致深度和旋转角度是不确定的，参见P357，fig14.9(b)，看图容易理解一点。

14.7 Computing the motion

本节主要讲述如果从$F_A$中计算摄像机运动。

我们首先把摄像机的运动表示为$R=R_{\rho }{R}_{\theta }$。

$\theta$是绕视线方向的旋转角度. $\rho$是绕与图像平面平行的轴的旋转角度，$\varphi$是图像x轴的旋转角度.具体参见P358图14.10，图像之间除了旋转还有一个缩放因子$s$。

具体的推导过程我们省略，在这里直接给出公式：
$$\begin{gathered} \tan \varphi =\frac{b}{a} \\ \tan (\varphi -\theta )=\frac{d}{c} \\ {s}^2=\frac{c^2+d^2}{a^2+b^2} \end{gathered}$$

$a,b,c,d$就是黄金标准算法里提到的四维空间的平面参数。