三维重建：对极约束，基础矩阵、本质矩阵、三角化详细推导过程

对极几何

描述两个视图之间的射影几何关系，计算相机不同位置的变换关系。

对极约束

以上图为例，$I_1$和$I_2$是两帧图像，它们之间的相机运动关系是$R,t$。$O_1$和$O_2$分别是这两个位姿处的光心，设通过特征匹配等手段确定$p_1和p_2$是同一个特征点在两幅图像上的投影，设它为$[X,Y,Z{]}^T$。定义以下术语：
对极平面：$O_1,O_2,P$所在的平面，显然，$p_1和p_2$应该也在这个面上；
基线：$O_1,O_2$的连线；
极点：基线与像平面$I_1$和$I_2$的交点$e_1$和$e_2$；
极线：对极平面与两个像平面的交线$l_1$和$l_2$。
由小孔成像模型知
$$s_1{p}_1=KP,s_2{p}_2=K(RP+t)$$
其中$s_1$和$s_2$是缩放系数，如果将$p_1$和$p_2$写成齐次坐标，可以写成up to scale（在某个尺度下成立）的等式
$$p_1=KP,p_2=K(RP+t)$$
像素点的相机归一化的坐标
$$x_1=K^{-1}{p}_1,x_1=K^{-1}{p}_2(1)$$
带入得
$$x_2=R{x}_1+t$$
$$t\times x_2=t\times R{x}_1+t\times t$$
两端同时左乘$t$,做外积
$$t\times x_2=t\times R{x}_1+t\times t$$
其中$t\times t=0$，两边同时左乘$x_2^T$
$$x_2^T\cdot t\times x_2=x_2^T\cdot t\times R{x}_1$$
左侧为0，得出
$$x_2^T\cdot t\times R{x}_1=0$$
如果将$p_1,p_2$代入得
$$p_2^T{K}^{-T}\cdot t\times R{K}^{-1}{p}_1=0$$
以上两式都叫做对极约束。令
$E=t\times R$， $F=K^{-T}E{K}^{-1}$， $p_2^{T}F{p}_1=x_2^{T}E{x}_1=0$
其中E称为本质矩阵，F称为基础矩阵。

本质矩阵及求解

本征矩阵具有以下性质

1. 由于对极约束是一侧为0，本征矩阵乘以任何常数对极约束都成立，E在不同尺度下是等价的；
2. 根据$E=t\times R$，E的奇异值是$[{\sigma }_1,{\sigma }_2,0]$的形式；
3. 平移和旋转各有三个自由度，但由于尺度等价，所以本质矩阵有5个自由度；
   因此要求解本质矩阵至少需要5对点，但E内部的非线性性质会使得线性方程组很复杂，所以通常用八点法来求解，设有一对匹配点$x_1=[u_1,v_1,1],x_2=[u_2,v_2,1],$得到等式
   $$[u_1,v_1,1{]}^T\left[\begin{array}{ccc}{e}_1& e_2& e_3\\ e_4& e_5& e_6\\ e_7& e_8& e_9\end{array}\right][u_2,v_2,1]=0$$
   得到
   $$[u_1{u}_2,u_1{v}_2,u_1,v_1{u}_2,v_1{v}_2,v_1,u_2,v_2,1]\cdot [e_1,e_2,e_3,e_4,e_5,e_6,e_7,e_8,e_9{]}^T=0$$
   每一对点可以得到一个上述方程，当有8对匹配点时，就可以求解本质矩阵了。但是通常匹配点的对数都会大于8，这个时候就会形成一个超定方程组，由于我们的特征点存在误差，不能完全满足上述约束，需要采用RANSAC和LMEDS（least median square）方法

• 1 RANSAC
  随机抽样一致性方法。即每次随机从所有点中抽出8个点求解本质矩阵，然后计算误差，大量抽样选择误差最小的那个。
• 2 LMEDS
  最小二乘法，通过数值方法选择误差最小的解。所有点形成的系数矩阵是A，对它进行SVD分解
  $$A=U\Sigma V^T$$
  可以看出当解最小的奇异值对应的右奇异矢量，也就是V的最后一列。
  由以上方法得到解$E^{\prime }$后，考虑到本质矩阵第二个特性，需要对它做SVD分解，将最小的特征值置为0，由于尺度不变特性，用1代替奇异值，得
  $$E=UD{V}^T,D=diag(1,1,0)$$
  由E分解得到R,t
  由于求解的E具有以上形式，对它分解R，t有以下几种可能，
  $$(t_1,R_1)=(U{R}_z(\frac{\pi }{2})D{U}^T,U{R}_z(\frac{\pi }{2})V^T)$$
  $$(t_2,R_2)=(U{R}_z(-\frac{\pi }{2})D{U}^T,U{R}_z(-\frac{\pi }{2})V^T)$$
  其中$R_z(\frac{\pi }{2})$表示绕z轴$\frac{\pi }{2}$的旋转矩阵
  $R_z(\pm \frac{\pi }{2})=\left[\begin{array}{ccc}0& \pm 1& 0\\ \mp 1& 0& 0\\ 0& 0& 0\end{array}\right]$
  两种可能组合有四种分解形式，但实际上只有一组解能满足深度都为正，（可以通过三角化求出深度，下文会讲到），以上过程即可求得E。
  同理可以求出F，但是由于E、F是个病态矩阵，因此点的值很小的时候，可能带来很大的误差。因此还需要进行归一化处理，对极约束写成
  $$P_l^{T}F{P}_r=0=>(H_r{P}_l{)}^T\overline{F}(H_r{P}_r)=0$$
  使用矩阵$H_L,H_r$对点进行归一化处理，按照以上计算过程得出$\overline{F}$,再进一步计算
  $$F=(H_r{)}^T\overline{F}{H}_l$$
  归一化处理：
  对点做归一化
  $[{\hat{x}}_i,{\hat{y}}_i,1]=[(x_i-\overline{x})/\overline{d},(y_i-\overline{y})/\overline{d},,1]$
  其中$\overline{x}=\frac{1}{n}\sum x,\overline{y}=\frac{1}{n}\sum y,\overline{d}=\frac{\sum (x_i-\overline{x}{)}^2+(y_i-\overline{y}{)}^2}{n}$，归一化过程可以写成矩阵
  $$\left[\begin{array}{ccc}1/\overline{d}& 0& -\overline{x}/\overline{d}\\ 0& 1/\overline{d}& -\overline{y}/\overline{d}\\ 0& 0& 1\end{array}\right]$$

三角测量

通过三角测量方法计算特征点的深度
$x_1=P,x_2=RP+t$，用点左叉乘后有
$x_1\times x_1=x_1\times P=0,x_2\times x_2=RP+t=0$，得到方程组的系数矩阵
$$\left[\begin{array}{c}{x}_1{P}_2-P_1\\ P_0-P_2{x}_0\\ -x_1{P}_0+x_0{P}_1\end{array}\right]$$
其中$P=[R,t]$, $P_i$是它的行向量，对第二个点$s_2$也可以列出类似方程组，第三行和一二行线性相关，一般省略，求解齐次超定方程组就可以（LMEDS）。