图像配准Image Registration与颜色校准Color Calibration---史上最全总结

1. 为啥做图像配准

比较或融合针对同一对象在不同条件下获取的图像，例如图像会来自不同的采集设备，取自不同的时间，不同的拍摄视角等等，有时也需要用到针对不同对象的图像配准问题。

2. 图像配准的定义

具体地说，对于一组图像数据集中的两幅图像，通过寻找一种空间变换/几何变换(Spatial Transformation/Geometric Transformation)把一幅图像映射到另一幅图像，使得两图中对应于空间同一位置的点一一对应起来，从而达到信息融合的目的。

下图给出了图像配准的直观示例：

这是典型的同一目标也就是Instance-level配准。但是，现在流行的已经不再是同一目标，同一instance级别的配准， 而是来自同一类别的不同对象—Category-level Semantic Alignment的配准问题.

3. 图像配准具体要做啥？

3.1 利用神经网路的对齐的原理：

Source and target images are passed through an alignment network used to estimate the geometric transformations.

把一对图像传入一个对齐网络，然后得到一个几何变换，这样有了这个几何变换，也就实现了对齐。

是的， 确实是这样的，因为在论文End_to_end Weakly-supervised Semantic Alignment论文里有以下的陈述：
Given a pair of images, an alignment network estimates the geometric transformation that aligns them.
由上可知，确实是由geometric transformation来对齐他们。

4. 语义图像配准(Semantic Alignment)具体要做啥？

要去寻找一种空间变换(这就是外文论文中常用的Geometric Transformation), 使得经过这个变换后， 在新的空间下， 来自两幅图像中的同一目标(如果是Instance-level)或者同一对象（如果是Category-level）的语义一致的点要在位置上对应起来。（这是目前我的理解，可能还需要进一步完善。）

这就是为什么论文中总是提到estimating a simple transformation. 论文Convolutional neural network architecture for geometric matching中提到的转换层次的idea和pipeline如下：

Idea:

因为背景杂波的存在，估计一个complex transformation是很难而且计算上inefficient的。 所以a robust and fast rough estimate of a simpler transformation can be used as a starting point.

• Start by estimating a simple transformation
• And then progressively increase the model complexity

Pipeline:

1. Starting by estimating an affine transformation(可以对下列情形建模：Translation平移, rotation旋转, non-isotropic scaling非各向同性缩放 and shear剪切)
2. Aligning image B to image A by the estimated affine transformation 我的理解是刚好网络能学习到到底这俩个图像对差什么，然后利用学到的，把一个变到另一个。从而实现对齐，不是找到新坐标系，然后把两个都变到同一个坐标系下再看。还是确实是在同一坐标下？
3. The aligned images are then passed through a second geometry estimation network which estimates 18 parameters of a thin-plate spline (TPS插值) transformation.
4. The final estimate of the geometric transformation is then obtained by composing the two transformations (The affine transformation and thin-plate spline transformation), which is also a thin-plate spline.

图像配准方法的分类

根据变换性质：刚体(rigid)变换和非刚体(non-rigid)变换

持续更新中…感兴趣请关注以便及时查看到更新。

1. 为啥做颜色校准？

因为在涉及利用外观Appearance的任务中，颜色是很重要因素。Appearance-based methods still suffer from color balancing and calibration issues.

特殊情况

有时候，也不做颜色校准，因为图像源被认为已经校准。

2. 相机配准

The position and internal calibration of the acquiring camera are known, i.e., the relations between the image plane, the camera optical center, and the world coordinate reference are defined.

采集摄像机的位置和内部校准是已知的， 也就是图像片面和相机光学中心，还有世界坐标系的关系都是预先定义好的。 相当于做了假设，我们直接用，不用管。