ISP 图像对齐笔记（一）：图像对齐基础算法

提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档

---

ISP 图像对齐笔记（一）：图像对齐基础算法

我们假设I(x) 是输入图像也就是我们拿到手的图像，T(x)参考图像也可以理解为我们的对齐图像，因此有相同坐标下

其中 I 和T是指图像的亮度（intensity）
因此我们需要找到一种映射关系使得：

其中w为 warp变换

注意这里的 W首先是齐次保证线性运算+可逆，p3和p6是位移，p1,p2,p4,p5 表示剪切+旋转的组合，p7,p8 表示增加了平面的投射，这个模型假设很重要，后面学习很多也是基于这个W矩阵（注意L-K是6个参数，我这里扩大到8个进行描述也就是p7和p8）

于是我们引出：图像配准，英文称为image alignment，或者 image registration
图像配准的方法有三：

（1）即前向累加法：forward additive
（2）前向合成法：forward compositional
（3）逆向合成法：inverse compositional

上述三种都是根据光度不变性假设（同一空间点在各图像上的成像点的灰度值相同）实现，也就是

---

一、前向累加法（forward additive）

forward additive method又称为Lucas-Kanade algorithm，它的目标是将一个模板图像T配准（align）到输入图像I上，T表示图像上的提取出来的一个小patch，它的目标函数如图1-1所示：
图1-1.forward additive目标函数，我们的目标就是找到一个warp W，使得目标函数最小。因此求解该目标函数是一个非线性最小二乘问题。迭代方式如图1-2所示：

图1-2.forward additive迭代方式

根据高斯牛顿法对非线性最小二乘问题的求解方法，对图1-2中公式泰勒展开线性化，再令其一阶偏导数等于0，求得Δp，如图1-3所示：图1-3.线性求解过程

公式中的各类符号说明如图1-4所示：
图1-4.图1-3公式中的符号说明

forward additive算法流程说明如图1-5所示：

图1-5.算法详细流程

二、前向合成法(forward compositional)

forward compositional的迭代方式图2-1所示：

图2-1.forward compositional method迭代过程

泰勒展开线性化求解过程如图2-2所示，W(x;0)相当于没有对点进行变化，因此W(W(x;0);p) = W(x;p)：

图2-2.线性化求解过程

具体的算法流程如图2-3所示：

图2-3.forward compositional算法流程

三、逆向合成法：inverse compositional

inverse compositional方法将模板T和输入图像I的角色做了反转，迭代方式如图3-1所示：

图3-1.inverse compositional迭代方式

泰勒展开线性化求解非线性最小二乘问题如图3-2所示，注意到其中的Hessian矩阵与之前相比有所不同，用模板T的梯度代替了原来输入图像I的梯度：

图3-2.线性化求解过程

算法的整体流程如图3-3所示：

图3-3.inverse compositional算法流程图

由于inverse compositional的Hessian矩阵和待求参数无关，所以Hessian矩阵可以预先计算出来，而Hessian矩阵是整个算法中最耗时的部分，不用在每一次迭代过程都计算Hessian矩阵就大大提高了算法的效率。

---

引用

【1】https://www.jianshu.com/p/11fe1de0e4fc；作者：变胖是梦想2014
【2】https://blog.csdn.net/Armergg/article/details/106567744
【3】http://16423.courses.cs.cmu.edu