12. 双目视觉之极线矫正

1. 为何要进行极线矫正？

之前的文章立体视觉基础中介绍单目相机无法获得深度信息，我们可以通过多个相机来实现立体视觉。通过两个相机对某场景同时观测时，当我们知道了相机的内（外）参以及两者之间的基线，然后通过某种方式找到两相机对同一世界点的观测的关联关系（类似特征匹配），就可以计算出视差，最终通过下列公式计算出观测到的世界点的深度。

我们假设双目相机已经标定完成，即，已知焦距$f$和基线$b$，我们下一步就要寻找匹配关系。上一节介绍的对极几何约束告诉我们，左相机对世界点的观测，在右相机上找到对应的观测位置，这个位置在右极线上，不严谨地说，也就是我们在算法上只需要沿着右图像的极线去遍历像素并与$p_l$进行比较，就能找到与左相机观测点的匹配关系。（当然，这条线上可能会有多个像素与$p_l$相似，所以实际寻找匹配时，还会用到一个技术，叫块匹配。这在高博的十四讲中有描述，这里不做赘述。）

上图为没有经过极线矫正的两相机成像画面。我们在代码中会遍历左图像中的每个像素，然后去右边图像寻找匹配点，在右边图像寻找匹配点，由对极几何约束知道要沿着极线去找。我们再次把对极几何约束贴在这：

设直线方程$l^{T}x=0,其中l为直线方程参数，l=[a,b,1{]}^T$，由对极几何约束可得$l=F{p}_l$为右极线，右边像素符合这个式子的才会进行比较。我们知道图像在计算机加载时，内存是连续的，我们在找那条在极线上的点的时候需要跳跃好多点，这会造成效率上的降低。
如果我们能把两张图像变成上一节的理想情况呢？也就是两个相机完全平行且$x$轴重合。
相当于把两个相机的成像变为这样：

那右极线直接就变为了图像的一行，我们只需要沿着图像的行进行搜索即可。

立体校正正式将实际成像变成理想共面的形式，在搜索时就可以只沿一个方向进行匹配。对于程序而言，内存是连续的，计算性能会更好。

2. 极线矫正过程。

假设我们已经知道了两个相机的外参，即$R和T，并满足P_r=R{P}_l+T$。

也就是说，我们已经知道了两个相机的相对旋转和平移关系。
①首先我们要想把两个相机平面调整平行就从这个相对旋转$R$下手。如果两者之间的相对旋转较大，那固定一个只旋转另一个，很可能造成共同观测的世界点投影到变换之后的那个图像外边去，所以简单的办法就是折中一下，两个相机各旋转这个相对旋转的一半。这一步可以将两个相机的光轴平行。
我用两本书来表示一下这一步得到的一般情况。两本书表示图像平面，垂直书的是$Z$轴。（这一步使得两平面的$Z轴平行，Z$轴方向上也可能有偏移。）

但是从另一个角度看可能是这样的。（行是不对齐的。）

所以还需要一步旋转，来进行行对齐，使其成为这样。

这才算是完全对齐了。
数学上的过程：
我们已经知道，$P_r=R{P}_l+T$。按照上面的思路将两个图像各转相对旋转的一半。
首先，我们可以通过罗德里格斯公式将旋转矩阵$R转换成r形式$，然后左相机正向旋转一半，$rl=0.5r$，右相机反向旋转一半，$rr=-0.5r$。

需要注意的是，这时候两相机之间的平移向量已经发生了改变，不再是$T$，我们重新记为$t$。可以推一下新的对应关系：$rr{P}_r=rr\ast (R{P}_l+T)，而P_l=r{l}^{-1}\ast P_l^{{}^{\prime }}，又P_r^{{}^{\prime }}=rr{P}_r=>P_r^{{}^{\prime }}=rr\ast (Rrl\ast P_l^{{}^{\prime }}+T)=rr\ast rl\ast rl\ast r{l}^{-1}\ast P_l^{{}^{\prime }}+rr\ast T=>P_r^{{}^{\prime }}=P_l^{{}^{\prime }}+rr\ast T$,
也就是说现在的平移向量$t=rr\ast T$。

接着就是将这两个坐标系的$x轴与t对齐$。这就比较简单了，两坐标系的$x$轴已经平行了，只需要两个坐标系再同时转到与$t$平行即可。可以通过计算$x$轴与$t$向量的轴角关系来构建出那个旋转矩阵$R_a$。
然后最终的两个相机做的旋转过程为：

$R_l=Ra\ast rl$
$R_r=Ra\ast rr$