图像配准的方法

迄今为止，在国内外的图像处理研究领域，已经报道了相当多的图像配准研究工作，产生了不少图像配准方法。总的来说，各种方法都是面向一定范围的应用领域，也具有各自的特点。比如计算机视觉中的景物匹配和飞行器定位系统中的地图匹配，依据其完成的主要功能而被称为目标检测与定位，根据其所采用的算法称之为图像相关等等。

图像配准的方式可以概括为相对配准和绝对配准两种：相对配准是指选择多图像中的一张图像作为参考图像，将其它的相关图像与之配准，其坐标系统是任意的。绝对配准是指先定义一个控制网格，所有的图像相对于这个网格来进行配准，也就是分别完成各分量图像的几何校正来实现坐标系的统一。本文主要研究大幅面多图像的相对配准，因此如何确定多图像之间的配准函数映射关系是图像配准的关键。通常通过一个适当的多项式来拟合两图像之间的平移、旋转和仿射变换，由此将图像配准函数映射关系转化为如何确定多项式的系数，最终转化为如何确定配准控制点（RCP）。目前，根据如何确定RCP的方法和图像配准中利用的图像信息区别可将图像配准方法分为三个主要类别：基于灰度信息法、变换域法和基于特征法^[25]，其中基于特征法又可以根据所用的特征属性的不同而细分为若干类别。以下将根据这一分类原则来讨论目前已经报道的各种图像配准方法和原理。

1基于灰度信息的图像配准方法

基于灰度信息的图像配准方法一般不需要对图像进行复杂的预先处理，而是利用图像本身具有灰度的一些统计信息来度量图像的相似程度。主要特点是实现简单，但应用范围较窄，不能直接用于校正图像的非线性形变，在最优变换的搜索过程中往往需要巨大的运算量。经过几十年的发展，人们提出了许多基于灰度信息的图像配准方法，大致可以分为三类：互相关法（也称模板匹配法）、序贯相似度检测匹配法、交互信息法。

（1）       互相关法

互相关法是最基本的基于灰度统计的图像配准的方法，通常被用于进行模板匹配和模式识别。它是一种匹配度量，通过计算模板图像和搜索窗口之间的互相关值，来确定匹配的程度，互相关值最大时的搜索窗口位置决定了模板图像在待配准图像中的位置。

设A图像为参考图像或基准图像，表示为 ，B为要进行校正后与A配准的图像，表示为 ，在A图像中选择几块包含特征信息丰富的小区域 作模板 ，在 图像重叠部分选择一个 重叠区域作为模板的搜索区域 ，并使得 ，即 ，如图14－3所示。然后把每一个模板 放在与其对应的搜索区 中，通过两者的相对移动，在逐行逐列的每个位置上，计算 与其覆盖的搜索区 中那部分之间的相似性，产生出表明两者相似程度最大的函数值的位置 。设在待配准图像B搜索到的相似区域为 ，再以 为模板，再用同样的方法在参考图像中去搜索相似程度最大的函数值的区域 ，设定一个阈值Z，如果 ，则认为 和 重合，B图像中的位置 就是B图像与A图像 相匹配的位置；反之，则认为特征区域匹配不正确，即伪匹配。

两幅图像之间的相似度评测标准，可以采用不同的方法，主要有下面三种：

图14－3 模板匹配示意图

Fig.14－3  Sample image of template matching

 

A.        均方和

                    （14－7）

B.        兰氏距离

                      （14－8）

C.        归一化标准相关系数

           （14－9）

其中，在定义式中，

表示的是模板子图像中第 行和第 列的像素的灰度值；

是匹配图像中参考点 处的参考子图像上的第 行和第 列的像素的灰度值；

和 分别代表两个子图像内像素灰度的均值；

而定义式的左边各自代表模板子图像 和另一个图像中的参考点 处的子图像 的相似性测度。

这三个公式中，前两个的极小值代表了可能的匹配位置，后一个公式的极大值代表了可能的匹配位置。其它的一些评测标准都是由这些基本的评测标准引申出来的。如相关系数和标准相关系数都是归一化标准相关系数的简化形式，从本质上都是相同的。

（2）       序贯相似度检测匹配法

序贯相似度检测匹配法^[4]（Sequential Similarity Detection Algorithms，SSDA）是由Barnea等人提出来的。SSDA方法的最主要的特点是处理速度快。该方法先选择一个简单的固定门限T，若在某点上计算两幅图像残差和的过程中，残差和大于该固定门限T，就认为当前点不是匹配点，从而终止当前的残差和的计算，转向别的点去计算残差和，最后认为残差和增长最慢的点就是匹配点。

这种方法的基本思想是基于对误差的积累进行分析。所以对于大部分非匹配点来说，只需计算模板中的前几个像素点，而只有匹配点附近的点才需要计算整个模板。这样平均起来每一点的运算次数将远远小于实测图像的点数，从而达到减少整个匹配过程计算量的目的。

在SSDA算法中，参考图像与待配准图像之间的相似度评测标准是通过函数 来度量的，公式如下：

                             （14－10）

其中残差和 ，坐标 是从待配准图像中，随机抽取得到的非重复的点坐标序列。 越大，表示误差增长越慢，即两幅图像越相似。这种方法的关键是阈值T的选择，它不仅影响到算法的运算速度，同时还影响到算法的匹配精度。

（3）       交互信息法

交互信息法^[19]最初是Viola等人于1995年把交互信息引入到图像配准的领域的，它是基于信息理论的交互信息相似性准则。初衷是为了解决多模态医学图像的配准问题。

交互信息用来比较两幅图像的统计依赖性。首先将图像的灰度视作具有独立样本的空间均匀随机过程，相关的随机场可以采用高斯—马尔科夫随机场模型建立，用统计特征及概率密度函数来描述图像的统计性质。交互信息是两个随机变量A和B之间统计相关性的量度，或是一个变量包含另一个变量的信息量的量度。

交互信息 是用A和B的个体熵 和 和联合熵 来表示：

                                 （14－11）

其中：

这里 分别为随机变量A和B的边缘概率密度； 为两个随机变量的联合概率密度分布。交互信息用于图像配准的关键思想是：如果两幅图像达到匹配，它们的交互信息达到最大值。在图像配准应用中，通常联合概率密度和边缘概率密度可以用两幅图像重叠区域的联合概率直方图和边缘概率直方图来估计，或者用Parzen窗概率密度估计法来估计，从而来计算交互信息。

交互信息图像配准方法一经提出，有不少基于此类的研究，尤其在医学图像的配准问题上。比如将交互信息和梯度结合起来改善其极值性能的算法、多分辨率图像金字塔法等等。但交互信息是建立在概率密度估计的基础上的，有时需要建立参数化的概率密度模型，它要求的计算量很大，并且要求图像之间有很大的重叠区域，由此函数可能出现病态，且有大量的局部极值。

基于变换域的图像配准的方法

最主要的变换域的图像配准方法是傅氏变换方法，它主要有以下一些优点：图像的平移、旋转、仿射等变换在傅氏变换域中都有相应的体现；利用变换域的方法还有可能获得一定程度的抵抗噪声的鲁棒性；由于傅氏变换有成熟的快速算法和易于硬件实现，因而在算法实现上有其独特的优势。

相位相关技术是配准两幅图像平移失配的基本傅氏变换方法。相位相关依据的是傅氏变换的平移性质^[26]。给定两幅图像，它们之间的唯一区别是存在一个位移 ，即：

                                    （14－12）

则它们之间的傅氏变换 满足下式：

                              （14－13）

它们之间的共扼傅氏变换 和 满足下式：

                                    （14－14）

这就是说两幅图像有相同的傅氏变换幅度和不同的相位关系，而相位关系是由它们之间的平移直接决定的。两幅图像的交叉功率谱如下：

                  （14－15）

这里*为共扼运算，可以看出两幅图像的相位差就等于它们交叉功率谱的相位。对其进行傅立叶反变换会得到一个脉冲函数，它在其他各处几乎为零，只在平移的位置上不为零。这个位置就是要确定的配准位置。

旋转在傅氏变换中是一个不变量。根据傅氏变换的旋转性质，旋转一幅图像，在频域相当于对其傅氏变换作相同的角度的旋转。两幅图像 之间的区别是一个平移量 和一个旋转量 ，它们的傅氏变换满足下式：

                                                          （14－16）

设 的幅度分别为： ，则有：

                                                          （14－17）

容易看出，两个频谱的幅度是一样的，只是有一个旋转关系。也就是说，这个旋转关系通过对其中一个频谱幅度进行旋转，用最优化方法寻找最匹配的旋转角度就可以确定。

.3 基于特征的图像配准方法

基于特征的匹配方法的共同之处是首先要对待配准图像进行预处理，也就是图像分割和特征提取的过程，再利用提取得到的特征完成两幅图像特征之间的匹配，通过特征的匹配关系建立图像之间的配准映射关系。由于图像中有很多种可以利用的特征，因而产生了多种基于特征的方法。常用到的图像特征有：特征点（包括角点、高曲率点等）直线段、边缘、轮廓、闭合区域、特征结构以及统计特征如矩不变量、重心等等。

点特征是配准中常用到的图像特征之一，其中主要应用的是图像中的角点，图像中的角点在计算机视觉模式识别以及图像配准领域都有非常广泛的应用。基于角点的图像配准的主要思路是首先在两幅图像中分别提取角点，再以不同的方法建立两幅图像中角点的相互关联，从而确立同名角点，最后以同名角点作为控制点，确定图像之间的配准变换。由于角点的提取已经有了相当多的方法可循，因此基于角点的方法最困难的问题就是怎样建立两幅图像之间同名点的关联。已报道的解决点匹配问题的方法包括松弛法、相对距离直方图聚集束检测法、Hausdorff距离及相关方法等等。这些方法都对检测到的角点要求比较苛刻，比如有求同样多的数目，简单的变换关系等等，因而不能适应普遍的配准应用。

基于图像配准的原理、步骤和方法，以及如何确定图像配准的准则，知道影像匹配的速度、精度和可靠性是评价匹配质量好坏的三个重要指标。如何尽可能提高匹配质量、特别在精度和可靠性满足的前提下进一步提高影像匹配速度，一直是计算机视觉、模式识别等领域研究的课题。