此主要讨论图像处理与分析。虽然计算机视觉部分的有些内容比如特 征提取等也可以归结到图像分析中来，但鉴于它们与计算机视觉的紧密联系，以 及它们的出处，没有把它们纳入到图像处理与分析中来。同样，这里面也有一些 也可以划归到计算机视觉中去。这都不重要，只要知道有这么个方法，能为自己 所用，或者从中得到灵感，这就够了。
注意：Registration可翻译为“配准”或“匹配”，一般是图像配准，特征匹配（特征点匹配）。
15. Image Registration
图像配准最早的应用在医学图像上，在图像融合之前需要对图像进行配准。在现在的计算机视觉中，配准也是一个需要理解的概念，比如跟踪，拼接等人在KLT中，也会涉及到配准。这里主要是综述文献。
[1998 MIA] Image matching as a diffusion process
[1992 PAMI] A Method for Registration of 3-D shapes
[1992 ACMCS] a survey of image registration techniques
[1996 MIA] Multi-modal volume registration by maximization of mutual information
[1997 IJCV] Alignment by Maximization of Mutual Information
[1998 MIA] A survey of medical image registration
[2003 IVC] Image registration methods a survey
[2003 TMI] Mutual-Information-Based Registration of Medical Survey
[2011 TIP] Hairis registration
翻译
图像配准技术调查——
作者：LISA GOTTESFELD BROWN
摘要-配准是图像处理中的基本任务，用于匹配例如在不同时间，从不同传感器或从不同视点拍摄的两个或更多图片。几乎所有评估图像的大型系统都需要对图像进行配准或紧密相关的操作，作为中间步骤。图像配准是重要组成部分的系统的特定示例包括将目标与场景的实时图像进行匹配以进行目标识别，使用卫星图像监控全球土地使用情况，匹配立体图像以恢复形状以进行自主导航以及从中对齐图像用于诊断的不同医疗方式。
多年来，已经针对各种类型的数据和问题开发了广泛的技术。这些技术已针对几种不同的应用进行了独立研究，从而产生了大量的研究成果。本文通过建立图像中的变化与最适合应用的配准技术类型之间的关系来组织此材料。区分了三种主要类型的变体。第一类是由于获取差异而导致的变化，这些变化导致图像未对准。为了配准图像，找到了将消除这些变化的空间变换。必须搜索有关找到最佳转换的转换类别是由有关这种类型的变化的知识确定的。转换类又会影响应采用的一般技术。第二类变化是由于采集方面的差异而引起的，但不能轻松建模，例如光照和大气条件。这种类型通常会影响强度值，但它们也可能是空间值，例如透视变形。第三种类型的变化是感兴趣的图像差异，例如对象移动，生长或其他场景变化。第二和第三种类型的变体不能通过注册直接删除，但是由于不再可能进行精确匹配，因此使注册更加困难。尤其重要的是，不要删除第三种类型的变体。有关每种变异类型的特征的知识会影响特征空间，相似性度量，搜索空间和搜索策略的选择，这些将构成最终技术。可以将所有注册技术视为这些选择的不同组合。该框架对于理解各种现有技术之间的优缺点和关系以及有助于针对特定问题选择最合适的技术很有用。
类别和主题描述符：A. 1 [一般文献]：介绍和调查； 1.2.10 [人工智能]：对视觉和场景的理解； 1.4
[计算方法]：图像处理； 1.5 [计算方法]：模式识别
通用术语：算法，设计，测量，性能
其他关键词和短语：图像配准，图像变形，纠正，模板匹配
内容
1.引言
2.理论上的图像注册
2.1定义
2.2转型
2.3图像变化
2.4整改
3.注册方法
3.1相关和顺序方法
3.2傅立叶方法
3.3点映射
3.4基于弹性模型的匹配
3.5小结
4.注册方法的特征
4.1特征空间
4.2相似度
4.3搜索空间和策略
4.4小结
内容
1.引言
当需要比较在不同时间，由不同传感器或从不同角度拍摄的图像时，经常会出现问题。图像需要彼此对齐，以便可以检测到差异。在其他图像中搜索原型或模板时，也会发生类似的问题。为了找到图像中模板的最佳匹配，必须找到图像和模板之间的正确对齐方式。所有这些问题，以及许多相关的变体，都通过执行图像配准的方法得以解决。必须找到一个变换，以便一个图像中的点可以与另一图像中的相应点相关。用于配准的最佳变换的确定取决于图像之间的变化的类型。本文的目的是提供一个解决图像配准任务的框架并调查经典方法。
可以将注册方法视为以下四个组成部分的不同选择组合：
(1)特征空间，
(2)搜索空间，
(3)搜索策略，以及
(4)相似性指标。
特征空间提取图像中将用于匹配的信息。搜索空间是能够对齐图像的一类转换。搜索策略决定如何从该空间中选择下一个变换，以便在搜索中寻找最佳变换。相似性度量标准确定每个测试的相对价值。根据搜索策略继续搜索，直到找到相似度令人满意的转换为止。正如我们将看到的，图像中存在的变化类型将决定这些组件中每个组件的选择。
例如，考虑一下记录同一患者在不同时间拍摄的两张胸部X射线图像的问题，如图1所示。正确对齐这两个图像对于检测，定位和测量病理及其他物理变化很有用。用于这些图像的配准的标准方法可能如下：可以通过使用标准边缘检测方案检测最高对比度的边缘或区域，将图像首先缩小为二进制图像。这样可以删除无关的信息并减少要评估的数据量。如果认为获取图像的主要区别是扫描仪的翻译量很小，则搜索空间可能是一组翻译量很小。对于左图像的边缘到右图像的边缘的每次平移，将计算相似度。典型的相似性度量是图像之间的相关性。如果为所有翻译计算相似度，则搜索策略将是详尽无遗的。使用优化相似性标准的翻译来注册图像。但是，对特征使用边缘，对搜索空间进行平移，对搜索策略进行详尽搜索以及对相似性度量进行相关性的选择将影响此配准的结果。实际上，在这种情况下，毫无疑问，配准将是不令人满意的，因为图像的对齐方式比平移更为复杂。通过建立图像之间的变化与图像配准的四个组成部分的选择之间的关系，本文为理解现有的配准技术提供了框架，并为协助选择针对特定问题的适当技术提供了一种方法。通过建立图像之间的变化与图像配准的四个组成部分的选择之间的关系，本文为理解现有的配准技术提供了框架，并为协助选择针对特定问题的适当技术提供了一种方法。
在各个领域的许多实际问题中都出现了配准图像的需求。通常需要进行配准，以便(1)整合从不同传感器获取的信息，(2)查找在不同时间或不同条件下拍摄的图像的变化，(3)从相机或场景中的物体推断出三维信息(4)用于基于模型的对象识别[Rosenfeld and Kak 1982]。
图1.在不同时间拍摄的患者胸部的X射线图像。 (感谢A. Goshtasby。)
第一种情况的示例如图2所示。在该图中，右上方的图像是患者肝脏的磁共振图像(MRI)。从该图像可以识别解剖结构。由于此图像与外科医生在手术中所见相似，因此该图像可用于计划医疗程序。左上方的图像来自单光子发射计算机断层扫描(SPECT)。静脉内注射Tc-99m(放射性核素)标记的化合物后，它显示相同的解剖区域。此图像描绘了肝脏的某些功能行为(Tc-99m化合物与红细胞结合)，可以更准确地区分癌症和其他良性病变。由于从不同的视点和不同的时间以不同的分辨率拍摄两个图像，因此不可能简单地覆盖两个图像。但是，如果可以注册图像，则可以使用MRI图像在结构上定位SPECT图像的功能信息。实际上，显示诸如MRI，CT(计算机断层扫描)和超声的解剖结构的图像以及显示诸如SPECT，PET(正电子发射断层扫描)和MRS(磁共振波谱)的显示功能和代谢活动的图像的配准已经引起人们的关注。改善诊断，更好的手术计划，更准确的放射治疗以及无数其他医疗益处[Maguire等人
1990]。
图2.左上方的图像是患者肝脏的SPECT图像。 右上方显示MRI所见的相同区域。 在MRI图像中手动在肝脏周围绘制轮廓。 此轮廓在SPECT图像中的位置显示了两个图像之间的不匹配。 MRI图像的右下角已对准SPECT图像，并且变换后的轮廓的位置显示在SPECT图像的左下角。 3.3.3节简要介绍了所采用的注册方法。 (由QSH，图像显示和处理工具包[Noz 1988]和纽约大学提供，我要感谢纽约大学的BA Birnbaum，EL Kramer，ME Noz和JJ Sanger，以及哥伦比亚大学的GQ Maguire，Jr. )
在这项调查中，研究了来自三个主要研究领域的注册方法：
(1)计算机视觉和模式识别-用于许多不同的任务，例如分割，对象识别，形状重构，运动跟踪，立体映射和字符识别。
(2)医学图像分析-包括诊断医学图像，例如肿瘤检测和疾病定位，以及生物医学研究，包括血细胞，宫颈涂片和染色体的显微图像分类。
(3)遥感数据处理-用于农业，地质，海洋学，石油和矿产勘探，污染和城市研究，林业以及目标位置和识别的民用和军事应用。
有关与这些领域具体相关的更多信息，读者可以参考计算机视觉方面的Katuri和Jain [1991]或Horn [1989]，医学成像方面的Stytz等人[1991]和Petra等[1992]以及Jensen [1986]和Thomas等人[1986]在遥感领域的研究。尽管这三个领域对注册技术的发展做出了很大贡献，但仍有许多其他领域发展了自己的专业匹配技术，例如语音理解，机器人技术和自动检查，计算机辅助设计和制造(CAD / CAM)和天文学。本文研究的三个领域包括来自上述四类问题的许多实例以及各种失真类型，包括：
·传感器噪音
·从传感器角度或平台扰动角度改变视角
·对象变化，例如运动，变形或增长
·照明和大气变化，包括阴影和云层
·不同的传感器。
表1和表2包含从计算机视觉和模式识别，医学图像分析和遥感数据处理中获取的四类问题中每一个问题的注册中的特定问题的示例。这四个类别是(1)多模式配准，(2)模板匹配，(3)视点配准和(4)时间配准。在类(1)，(3)和(4)中，配准的典型目的是对齐图像，以便可以检测到视点和时间上传感器的相应变化。在类别匹配(2)中，模板匹配的通常目标是找到另一幅图像中模板图像的最佳位置和方向(如果存在)，这通常是对象识别较大问题的一部分。每类问题均通过其典型应用和该类常用方法的特征来描述。注册问题绝不受此分类方案的限制。许多问题是这四类问题的组合。例如，经常从不同的角度和不同的条件下拍摄图像。此外，针对每一类问题提到的典型应用程序通常也属于其他类别的应用程序。同样，列出方法的特征只是为了让研究人员了解解决这些问题的一些更常见的属性。通常，已经开发出用于匹配图像以解决各种可能的失真的方法，并且对于最适合哪种类型的问题，尚不清楚确切的方法。这些表的目的之一是向读者介绍各种注册问题。毫不奇怪，问题及其应用的多样性已成为开发无数独立注册方法的原因。
表1.注册问题—第一部分
多模态注册
问题类别：注册从不同传感器获取的同一场景的图像。
典型应用：集成信息以改善分割和像素分类。
方法的特点：经常使用传感器模型；需要预先注册强度；使用主题框架和基准标记进行图像采集可以简化问题。
例子1
领域：医学图像分析
问题：将来自CT或MRI的结构信息与来自放射性核扫描仪(例如PET或SPECT)的功能信息整合在一起，以在解剖学上定位代谢功能。
例子2
领域：遥感数据处理
问题：整合来自不同电磁波段(例如，微波，雷达，红外，视觉或多光谱)的图像，以改善场景分类，例如对建筑物，道路，车辆和植被类型进行分类。
模板注册
问题类别：找到图像中参考图案的匹配项。
典型应用：识别或定位图像中的图案(例如地图集，地图或对象模型)。
方法的特征：基于模型的方法，预选特征，对象的已知属性，更高级别的匹配。
例子1
领域：遥感数据处理
问题：解释机场等清晰场景；确定已知特征(如跑道，航站楼和停车场)的位置和方向。
例子2
领域：模式识别
问题：字符识别，签名验证和波形分析。
表2.注册问题-第二部分
观点注册
问题类别：从不同角度拍摄的图像配准。
典型应用：深度或形状重建。
方法的特点：需要局部变换以解决透视失真；通常使用关于查看几何形状和表面特性的假设来减少搜索；典型的方法是特征对应，但是必须解决遮挡问题。
例子1
领域：计算机视觉
问题：立体贴图可从视差恢复深度或形状。
例子2
领域：计算机视觉
问题：跟踪物体运动；图像序列分析可能包含几张仅稍有不同的图像，因此关于平滑变化的假设是合理的。
时间注册
问题类别：记录在不同时间或不同条件下拍摄的同一场景的图像。
典型应用：检测和监视变化或增长。
方法的特征：需要解决不同图像的问题，即配准必须容忍由于变化而引起的失真，最好是能够对传感器噪声和视点变化建模。经常使用傅立叶方法来最小化对差异的敏感性。
例子1
领域：医学图像分析
问题：数字减影血管造影术(DSA)-放射性同位素注射前后的图像配准以表征功能，数字减影乳腺摄影术检测肿瘤。早期白内障检查。
例子2
领域：遥感数据处理
问题：自然资源监测，核电站监测，城市增长监测。
这种广泛的方法论使得很难对技术进行分类和比较，因为每种技术通常是为特定应用而设计的，而不一定是针对特定类型的问题或数据而设计的。但是，大多数配准技术都涉及在某种类型的转换空间上进行搜索以找到针对特定问题的最佳转换。在图3中，显示了几个主要转换类的示例。在图3的左上方，显示了一个示例，其中由于相机位置的微小变化而导致图像偏移很小的偏移。在这种情况下，注册涉及搜索匹配图像所需的翻译方向和翻译量。因此，转换类是小翻译的类。图3中显示的其他转换是旋转，刚体，剪切以及由于地形起伏而产生的更一般的全局转换。通常，用于注册图像的转换类型是对方法进行分类并协助选择特定应用技术的最佳方法之一。变换类型取决于未对准的原因，该原因可能会也可能不会考虑图像之间的所有变化。这将在第2.3节中详细讨论。
图3.典型几何变换的示例。
关于本次调查中使用的术语的一些定义和重要区别可以防止某些混淆；参见表3。
表3.用于图像配准方法的重要信息
变换：将一幅图像中的点位置映射到另一幅图像中的新位置的映射。
全局：映射由一个方程式组成，该方程式将第一个图像中的每个点映射到第二个图像中的新位置。该方程式是第一图像的位置的函数，但是对于图像的所有部分它都是相同的函数，即，该函数的参数不取决于位置。
局部：图像中点的映射取决于它们的位置-对于所考虑的每一幅图像，该映射均由几个较小的映射(几个方程式)组成。
变化：图像之间像素值及其位置的差异，包括已破坏真实测量结果的失真。
全局：整个图像中的图像相似。例如，由于加性白噪声引起的变化以相同的方式影响所有像素的强度值。每个像素都会受到不同的影响，但是差异并不取决于像素的位置。
局部：图像之间的差异取决于图像中的位置。例如，由于透视引起的失真取决于投影到图像上的对象的深度。与对应于较近物体的区域相比，图像中对应于较远物体的区域以不同的方式失真。
计算：是指为确定配准转换的参数而执行的一组计算。
全局：使用图像的所有部分来计算转换的参数。如果要计算局部变换，则将使用整个图像来计算每组局部参数。这通常是一种昂贵的方法，但是具有使用更多信息的优点。
局部：对于确定局部变换的每组局部参数，仅使用图像的相关局部。通过仅对图像进行局部计算，该方法将更快。它还具有不被图像的其他部分错误地影响的优点。
需要澄清的区别是全局/局部变换，全局/局部变化和全局/局部计算之间的区别。另外，我们将定义注册上下文中的变换，变化和计算的含义。
变换是一个图像中点的位置到另一个图像中新位置的映射。用于对齐两个图像的转换可能是全局的或局部的。全局变换由映射整个图像的单个方程式给出。示例(将在第2.2节中进行描述)是仿射，投影，透视图和多项式变换。局部变换根据空间位置映射图像的方式不同，因此更难以简洁表达。在此调查中，由于我们根据注册方法的转换类型对其进行分类，因此根据其使用的转换类型，该方法是全局方法还是局部方法。在其他有关此主题的论文中，情况并非总是如此。
变化是指两个图像之间的像素(像素)的值和位置的差异。我们将值的差异称为价差。通常，值的变化是强度或辐射度的差异，但是我们使用这个更笼统的术语来包括值不为强度的各种现有传感器，例如许多从氢密度测量所有东西的医疗传感器(磁共振成像)温度(热成像)。图像之间的某些变化是失真。失真是指已经破坏或改变了真实强度值及其在图像中位置的噪声。什么是失真，什么不取决于对传感器以及拍摄图像的条件做出的假设。这将在第2.3节中详细讨论。图像的变化可能是由于场景的变化或传感器及其位置和视点引起的变化。我们希望通过注册删除其中一些更改；但可能很难去除其他变化(例如照明变化的影响)，或者我们对去除它们不感兴趣，即，我们可能希望检测到变化。当我们将一组变量描述为全局变量或局部变量时，是指是否可以通过全局或局部转换来消除变量。但是，由于并非总是能够消除图像之间的所有失真，并且因为我们不想消除某些变化，因此对于理解配准方法，认识到某些变化是全局变化还是全局变化之间的差异至关重要。本地和所选转换是全局转换还是局部转换。例如，图像可能具有局部变化，但是配准方法可以使用全局变换来对齐它们，因为某些变化是配准后要检测的差异。各种类型的变体之间的重要区别将在第2.3节中详细说明。
我们要解决的最终定义和区别在于注册计算。配准计算是指执行以确定转换参数的计算。当将计算描述为全局或局部时，这是指确定转换参数所需的计算是否需要来自整个图像的信息，或者是否可以从较小的局部区域计算出每个参数子集。仅当使用局部转换进行注册时，这种区别才有意义，因为当需要全局转换时，仅计算一组参数。但是，这又与所使用的转换类型不同。例如，如果注册方法需要全局计算以便确定局部参数，则搜索最佳局部变换的配准方法可能更准确，更慢，因为它们使用来自整个图像的信息来找到最佳对齐方式。
还有另一条评论是。在本文中，针对二维图像开发了配准技术。随着更便宜的内存，更快的计算机和改进的传感器功能的出现，例如，利用激光测距仪，运动序列和最新的3D医疗模式来获取三维图像已变得越来越普遍。在2D和3D情况下，注册问题都很多，但是在本文中，仅检查了2D技术。尽管许多2D技术可以概括为高维数据，但是在处理3D情况下的大量数据和相关的计算成本时，不可避免地需要考虑其他几个方面。此外，由3空间投影到2D图像上引起的许多问题不再相关。本文未介绍为克服3D注册的独特问题而开发的技术。
在本文的下一部分中，给出了注册问题的基本理论。图像配准在数学上定义为最常用的转换。然后描述了图像变化和畸变及其与解决配准问题的关系。最后，详细说明了相关的整流问题，即校正由平面投影产生的几何变形。
在本文的第3节中，将根据搜索到的转换类型的复杂性来描述主要的注册方法。在第3.1节中，描述了互相关函数及其近亲的传统技术，统计相关性，匹配滤波器，相关系数和顺序技术。这些方法通常用于定义明确的小型仿射变换，通常用于单个翻译。在存在依赖于频率的噪声的情况下，用于仿射变换的另一类技术是3.2节中描述的傅立叶方法。如果仿射变换不足以匹配图像，则需要更通用的全局变换。在这种情况下，主要方法需要特征点映射来定义多项式变换。这些技术在3.3中进行了描述。但是，如果重合失调的来源不是全局的，即图像在图像的不同部分上以不同的方式未对准，则需要局部变换。在3.3的最后部分中，介绍了使用基于分段插值的最简单局部变换的技术。在最复杂的情况下，当存在合法的局部变形(即不是非配准错误的原因的变形)时，配准技术必须确定局部变形，则使用基于特定变形模型(例如弹性膜)的技术。这些在第3.4节中描述。
第3节中描述的方法用作本调查最后一部分的示例。第4节为各种可能的注册技术提供了框架。在了解了目前存在的各种变化以及需要纠正的变化之后，就可以基于足以对齐图像的转换类来设计配准技术。转换类可以是第2.2节中描述的经典类之一，也可以是问题参数所定义的特定类。然后，选择一个特征空间和相似性度量，这些特征空间和相似性度量对其余变化最不敏感，并且最有可能找到最佳匹配。最后，选择搜索技术以降低计算成本，并根据剩余变化的性质将搜索引导到最佳匹配。在第4节中，特别是针对在2.3节中分类的图像之间变化的特征，使用开发的框架讨论了配准方法每个组件的几种替代方法。
2.理论上的图像注册
2.1定义
图像配准可以定义为两个图像在空间和强度上的映射。如果我们将这些图像定义为由I1和I2表示的给定大小的两个2D数组，其中I1(x，y)和I2(x，y)各自映射到其各自的强度(或其他测量)值，则图像之间的映射可以表示为：
其中f 是2D空间坐标变换，即f是将两个空间坐标x和y映射到新的空间坐标x'和y'的变换，
g是一维强度或辐射度转换。
配准问题是找到最佳的空间和强度变换，以使图像被匹配，以用于确定匹配变换的参数或暴露图像之间的关注差异。强度转换并非总是必要的，通常由传感器校准技术确定的简单查找表就足够了[Bernstein 1976]。使用强度转换的示例是传感器类型发生变化的情况(例如从光学到雷达[Wong 1977])。需要强度转换的另一个示例是场景中的对象高度镜面反射(它们的反射率是镜面反射的)并且相对于光源的视点或表面方向发生变化时。在小巧的情况下，尽管需要强度转换，但是实际上不可能确定必要的转换，因为它需要知道场景中物体的反射特性以及它们与传感器的形状和距离。请注意，在这两个示例中，强度变化是由于场景图像的获取变化所致：在第一种情况下是传感器的变化，在第二种情况下是传感器的反射率的变化。在强度变化的许多其他情况下，这些变化是由于场景中的差异所致，而不是由于传感器将场景投影到图像上的方式不同，而是这些变化是场景中的固有差异，例如运动，增长或相对深度上的差异，将在配准过程中暴露出来，而不会消除。毕竟，如果图像精确匹配，那么除了学习最佳变换的参数外，通过执行配准还能获得什么信息？
寻找最佳空间或几何变换的参数通常是解决任何配准问题的关键。它经常用参数表示为两个单值函数fx，fy：
这可能更容易实现。
2.2转换
任何图像配准技术的基本特征是用于正确叠加两个图像的空间转换或映射类型。尽管每个图像中可能存在多种类型的变化，但是配准技术必须选择转换类别，该转换类别将仅消除由于采集差异和影响采集的场景特征而导致的图像之间的空间失真。配准要暴露的场景特征的其他差异不应用于选择变换的类别。在本节中，我们将定义几种类型的转换及其参数，但是直到稍后，我们才讨论如何为特定问题选择转换类型以及使用哪些过程查找其参数。
最常见的一般变换是刚性，仿射，投影，透视和全局多项式。刚性变换说明了对象或传感器的运动，其中图像中的对象保持了它们的相对形状和大小。刚体变换由旋转，平移和缩放比例的组合组成。一个例子如图3所示。仿射变换比刚性变换更通用，因此可以忍受更复杂的失真，同时仍保持一些良好的数学特性。剪切变换(也显示在图3中)是一种类型的仿射变换。投影变换和更一般的透视变换解决了由于对象在距传感器的距离变化的情况下投影到图像平面而导致的变形。为了使用透视变换进行配准，需要知道场景的物体相对于传感器的距离。多项式变换是最通用的全局变换之一(仿射是最简单的变换)，并且可以说明多种类型的失真，只要失真在图像上的变化不大即可。通常，可以通过多项式变换来校正由于地形缓和引起的失真(请参见图3的底部示例)。刚刚描述的转换都是一个图像到另一个图像的明确定义的映射。考虑到非刚性物体图像的内在本质，有人建议(个人交流，Maguire，G. Q.，Jr.，1989)，某些问题，特别是医学诊断中的某些问题，可能会受益于模糊或概率变换的使用。
在本节中，我们将简要定义不同的转换类及其属性。变换T是线性的，如果
对于每个常数c
如果T(x)T是T(0)是线性的，则变换是仿射的。仿射变换是线性的，因为它们将直线映射为直线。最常用的配准变换是仿射变换，它足以匹配从相同视角但从不同位置拍摄的场景的两个图像，即可以移动相机，并且可以绕其光轴旋转相机，该仿射变换由缩放，平移和旋转的笛卡尔运算组成。由于点之间的整体几何关系不变，即一个图像中的三角形映射到第二个图像中的相似三角形，因此这是一个严格的全局转换。它通常具有四个参数tx，ty，s，θ，它们将第一张图像的点(x1，y1)映射到第二张图像的点(x2，y2)，如下所示：
这可以重写为
其中，
是两个图像的坐标矢量； 
是翻译向量； s是标量比例因子，R是旋转矩阵。由于旋转矩阵R是正交的(行或列彼此垂直)，因此在配准后保留原始图像中的角度和长度。由于标量比例因子s，刚体变换允许相对于原始图像进行长度更改，但x和y都相同。如果不添加平移矢量，则转换变为线性。
通用2D仿射变换
不具有与正交旋转矩阵关联的属性。角度和长度不再保留，但平行线确实保持平行。一般仿射变换可以解决更一般的空间变形，例如剪切(有时称为偏斜)和纵横比的变化。可以沿x轴(即Shear x)或沿y轴(即Shear y)起作用的Shear会导致像素沿一个轴失真，与像素在另一轴上的位置成比例。仿射变换的剪切分量表示为
仿射变换可能发生的另一种失真是宽高比的变化。长宽比是指x和y轴之间的相对比例。通过独立缩放每个轴，
x和y比例之间的比例已更改。通过应用任何顺序的刚体变换，剪切和长宽比更改，将获得仿射变换，用于描述累积变形。
图4.成像系统。
透视图转换解决了当通过理想的光学图像系统投影3D场景时发生的失真，如图4所示。这是从3D到2D的映射。 在特殊情况下，场景是平面的，例如在航空照片中，失真是由投影变换引起的。 透视变形会导致图像离相机越远显得越小，而离相机倾斜越多则压缩得越多。 后一种效果有时称为透视。 如果已知场景中对象的坐标，例如(x0，y0，z0)，则图像中的相应点(xi，yi)由下式给出
其中f是相机镜头中心的位置。 (如果照相机对准远处的物体，则f是镜头的焦距。)在特殊情况下，场景是由相对于像平面倾斜的平面组成的，则需要进行投影变换才能映射镜头。场景平面变成没有倾斜且具有所需比例的图像[Slama 1980]。此过程称为整流，将在2.4节中详细介绍。投影变换将平面(xp，yp)上的坐标映射到图像(xi，yi)中的坐标，如下所示：
其中a项是常数，取决于场景和像平面的方程式。
如果这些变换不能解决场景中的变形，或者如果关于相机几何的已知信息不足，则可以使用多项式变换来确定全局对齐。这在第3.3.3节中定义。对于复杂的3D场景的透视图失真，或由于传感器，对象变形和运动以及其他特定领域因素导致的非线性失真，必须进行局部变换。这些可以通过分段插值(例如，当已知匹配特征时的样条)或基于模型的技术(例如弹性变形和对象/运动模型)来构造。
如果几何变换f(x，y)可以表示为一对可分离的函数，即可以使用两个连续的1D(扫描线)运算来计算变换，
那么在实施过程中就可以实现效率和内存使用方面的显着节省。通常，将f2应用于每一行；然后将f1应用于每一列。在经典的可分离性中，两个运算相乘，但是出于实际目的，任何复合运算都可以提供相当大的加速[Wolberg and Boult 1989]。
2.3图像变化
由于图像配准涉及消除畸变和检测图像之间的变化，因此有关图像之间变化类型的知识在任何配准问题中都起着基本作用。我们发现根据图像在注册问题中的不同作用将图像中的这些变化分为三类很有用。表4中描述了这些类别。
表4.要注册的图像之间的差异类别
I.校正失真
这些是可以建模的变形。 这些变形的模型确定了将注册图像的转换类别。 由于简单的视点变化和传感器噪声，这些失真通常是几何的。
II. 未校正的失真
这些是很难建模的变形。 它们通常取决于场景，并且通常具有体积。 典型示例是光照和大气变化，阴影和体积传感器噪声。
III. 兴趣变化
这些是我们要检测的两个图像之间的差异。 对于某些问题，注册的目的是暴露这些差异。 常见的示例包括场景变化，例如对象移动，生长或变形，以及使用灵敏度不同的传感器或测量质量不同的传感器时传感器测量值的差异。
首先，重要的是要区分失真和其他变化。失真是导致注册错误的原因。这样，我们的意思是它们是导致图像未对准并模糊了真实测量值的变化。我们希望通过套准消除图像之间的扭曲。其他变化通常是我们在注册完成后有兴趣检测的变化；因此，它们不是失真。失真可能是由于传感器视点的变化，传感器或其操作所引入的噪声，被摄体位置的变化以及场景或传感器的其他不良变化引起的。它们几乎总是源于获取图像的方式或环境的差异。这与由于场景的固有差异(例如物理增长或运动)引起的兴趣变化相反。
第二，我们区分两类失真。在任何注册问题中，我们都希望消除所有可能的失真。但是，这很少可行或不可行。相反，通常要做的是消除主要的空间差异并限制体积误差和较小的局部误差的影响。这是通过选择可行的空间变换类并通过选择适当的特征空间，相似性度量和搜索策略来忽略其他变化来实现的。这有效地将失真分为两类。第一类是空间失真，可以通过实际的转换类来令人满意地建模。我们称这些为校正后的失真。其余的失真通常是由光照和大气变化引起的。这是因为它们的效果取决于场景中物理对象的特性，因此难以有效建模。
总而言之，存在三类变化，它们在图像配准中起着重要作用。第一种类型(类型I)是变化，通常是空间变化，用于确定适当的变换。由于在此类中应用最佳变换将消除这些失真，因此将它们称为校正失真。第二种类型的变化(类型II)也是畸变，通常是体积畸变，但是没有通过配准变换校正的畸变。我们称这些未校正的失真。最后，第三种类型(III类)是感兴趣的变化，即图像之间的差异可能是空间上的或体积上的，但不能通过套准消除。未校正的失真和关注的变化(我们统称为未校正的变化)都会影响特征空间的选择，相似性度量和构成最终配准方法的搜索策略。未校正的失真和关注的变化之间的区别很重要，尤其是在失真和关注的变化都是局部的情况下，这是因为配准方法必须解决在消除失真的同时保留尽可能多的失真的问题。利息完好无损。
表5根据图像中存在的变化类型分解了配准方法。该表显示了如何首先根据转换类(I类型变体)对注册方法进行分类，然后根据其他变体(II类型和III类型)进行子分类。该表是第3节的概述。
表5.按图像之间存在的差异类型分类的注册方法
转换类别(类型I变体) 变体类型(II和III型变体) 适当的方法(第3节)
全局
小刚性/仿射 频率无关的估值 基于相关的顺序
平移/旋转 频率相关值 基于傅立叶
小刚性/仿射 本地 带反馈的点映射
一般/ 估值 没有反馈的点映射
全局多项式 很少有准确的控制点(手动，特定域) 插补
本地 近似
许多不准确的控制点(自动，常规域)
本地
本地基础函数 全局和体积控制点可用 逐段
插补
弹性模型 本地 基于弹性模型
所有变化都可以进一步分为静态/动态，内部/外部和几何/光度。静态变化不会针对每个图像发生变化，因此可以通过校准技术在同一过程中对所有图像进行校正。内部变化归因于传感器。地球观测传感器中典型的内部几何变形[Bernstein 1976]是定心，尺寸，偏斜，扫描非线性以及径向(枕形)或切向对称误差。内部变化部分是光度学的(效果强度值)包括由相机阴影效果(有效限制观察窗口)，检测器增益变化和误差，镜头变形，传感器缺陷和传感器感应滤波(可能导致斑点和条纹)引起的那些变化)。
另一方面，外部错误源于不断变化的传感器操作和各个场景特征。这些可能是由于平台扰动(即，观看几何形状的变化)以及由于运动或大气条件导致的场景变化。外部错误可以类似地分解为空间和值(强度)失真。大多数内部误差和许多光度误差是静态的，因此可以使用校准消除。
由于配准主要与将一幅图像在空间上映射到另一幅图像有关，因此外部几何变形在配准中起着至关重要的作用。内部失真通常不会引起图像之间的未对准，并且内部或外部失真对强度的影响要么令人关注，要么难以消除。非静态的强度失真通常是由传感器的变化引起的，这可能是令人感兴趣的，或者是由于光照和大气条件的变化。在校正强度畸变的情况下，将使用强度直方图和其他有关强度分布的统计信息。 Wong [1977]开发的使用Karhunen-Loeve变换注册雷达和光学数据的方法提供了一个示例。在Herbin [1989]中，强度校正与几何校正同时进行。
由于配准的共同目标是检测图像之间的斜角，因此重要的是，仅针对配准错误的来源对图像进行匹配。否则，感兴趣的更改将同时被删除。包含感兴趣的变体(类型III变体)的图像有时被称为相异图像，因为图像在配准后仍然保持本质上的差异。异类图像的配准通常特别需要对配准源进行建模。例如，在Hall [1979]描述的分层搜索技术中，选择匹配规则，这些规则对于场景的自然变化或人为变化更为不变。通常，执行在不同时间或在不同场景条件下获得的图像的配准，以提取场景中的变化。例如在航空摄影中检测城市发展的增长或在乳房X线照片中检测肿瘤的增长。从不同传感器获取的图像配准会整合不同的测量值，以便对图片点进行分类(以进行分割(从而可以找到与场景中有意义的对象相对应的图像区域))和进行对象识别(以便可以根据需要标记这些区域)到它们在场景中对应的位置)。在这两种情况下，无论是多模式注册还是临时注册，都存在无法通过注册删除的变化。这对匹配提出了额外的限制，必须面对不相关的变化找到相似性。
毫不奇怪，对特定系统中存在的失真类型了解得越多，配准就越有效。例如，Van Wie [1977]将Landsat多光谱图像中的误差源分解为由于传感器操作，轨道和高度异常以及地球自转引起的误差源。错误也可以分为整体连续，条带连续或条带不连续。扫描误差是由传感器镜的扫描之间的差异产生的，其中仅获取一定数量的扫描线。错误配准源的这种分解被用于具有几种专门技术的配准系统的生成中，这些技术取决于应用和要纠正的失真类别。例如，可以使用一组控制点来求解高度模型，并且可以独立于其他误差来校正条幅误差，从而减少了整体校正的负担并提高了性能。
在计算机视觉中，将“注册”具有不同查看几何形状的图像(例如，立体图像对)以确定场景中对象的深度或其三维形状特征。立体映射的调查包括Barnard和Fischler(1982)以及Dhond和Aggarwal(1989)。这需要匹配图像中的特征并找到它们之间的差异。这通常称为对应问题。在这种情况下，大多数变化都通过图像之间的映射进行校正，但另一方面，生成的映射非常复杂。考虑到遮挡问题，成像对象的相对位置不同以及由于场景中对象的深度和形状未知而导致的映射的完全不可预测性。因此，立体匹配和运动跟踪算法的问题确实需要对套准的来源进行建模。通过利用摄像机和对象模型的特征，例如观察几何体，光滑表面和小运动，这些类似套准的技术变得非常专业。例如，在立体映射中，图像的成像视点不同，因此，重合失调的原因是视点的不同。这大大减少了可能的转换，并允许配准方法利用立体影像的属性。由于摄像机视点所施加的几何形状，一个图像中任何点的位置都会将另一图像中的点的位置(代表3D场景中的同一点)限制为一条线。这称为对极约束，匹配点必须位于其中的线称为对极线。如果场景中的表面是不透明且连续的，并且其扫描线(图像中的像素行)与基线(连接两个视点的线)平行，则沿相应的对极线也将施加排序约束。参见图5。
图5.典型的立体成像系统，显示了极约束如果表面不透明且连续。 那么沿着两个图像M的相应对极线的点的顺序保证是相同的(基于Horn的图[1989]。)
此外，视差的梯度(投影点的两个图像之间的位置差异的变化)与场景中表面的平滑度直接相关。通过使用这些约束而不是使用通用的注册方法寻找任意变换，可以更直接地解决立体声对应问题，即，搜索更加有效和智能。
当有足够的有关重合失调源的信息时，可能会解析地和静态地注册图像。例如，如果场景是平面，并且场景的两个图像仅在其观看几何形状上有所不同，并且此相对差是已知的，则基本笛卡尔变换的适当顺序(即平移，旋转和缩放)变化或刚性变换)可以找到对齐两个图像。从轨道星历(星图)，平台传感器或从已知星历的后退角度，可以确定每个图像的观看几何形状的差异，即一个坐标系相对于另一个坐标系的位置，方向和比例。在三个点的深度。仅当存在一个没有光学像差的简单光学系统时，即观察传感器以恒定比例因子与传感器保持恒定距离的平面成像时，这才可能实现。在这种情况下，配准是通过图像校正完成的，现在将对其进行详细描述。尽管这种配准形式与校准密切相关(失真是静态的，因此可以测量)，但它是典型的观察几何结构和成像特性的一个很好的示例，可以用来确定适当的配准转换。但是，这是唯一可以给出的例子，在该例子中，错误注册的原因是完全已知的，并直接导致注册的分析解决方案。
2.4整改
当观察的场景相对平坦并且已知观看几何形状时，可以执行最简单的配准类型之一。如果海拔足够高，则在遥感中通常是前一种情况。这类配准是通过校正即校正平坦场景的图像中的透视畸变的过程来实现的。透视失真具有压缩场景特征的图像的作用，距离摄像机的距离越远。经常进行校正以校正图像，以使其符合特定的地图标准，例如通用横轴墨卡托投影。但它也可以用于记录从不同角度拍摄的两个平面图像。
给定一个成像系统，其中图像中心O在原点，镜头中心L在(0，0，f)，则任何场景点P0 =(x0，y0，z0)可以映射到图像点Pi = (xi，yi)由比例因子f /(z0 – f)决定。从图4所示的观看几何图中类似的三角形可以看出这一点。如果场景是一个垂直于摄像机轴的平面(即z恒定)，则由于该比例因子对于图片中的所有点。对于任何其他平面S，由
A，B和C为常数，可以通过将(xi，yi)处像点的强度映射到新的校正像点位置(fxi / Z，fyi/ Z)中来执行校正)，其中Z = f-Axi-Byi，[Rosenfeld 1982]。这是因为可以将场景平面分解为与图像平面成恒定距离(z0 = C – C’)的线Ax0 + By0 = C’。然后，每条线都映射到图像平面中的一条线，并且由于其透视变形与它与图像的距离有关，因此，必须相应地用f /(C – C’– f)缩放该线上的所有点。图6显示了一个平面如何分解成平行于图像平面的线。
图6.任何平面都可以分解为与图像平面平行的线。
可以通过以下步骤记录从不同视点拍摄的两张平面图片。首先，场景坐标(x1，y1，z1)与相对于摄像机1的点的图像1中的图像坐标相关，其比例因子(z1-f)/ f 取决于其深度(z1坐标)，并且由于类似的三角形，镜头中心f。这给了我们两个方程式。由于它们还必须满足平面方程，因此我们有三个方程，可以使用相对于摄像机1坐标系的对应图像点，从每个方程得出对应的图像点的三个坐标。然后，将坐标转换为场景坐标相对于相机1的坐标系到相对于相机2的坐标系以获得(x2，y2，z2)。最后，它们可以通过因子f /(z2-f)再次投射到图像2上，再通过类似的三角形。当然，如果这些是离散图像，则如果配准点不落在网格位置上，则仍然存在插值的问题。参见Wolberg [1990]对插值方法进行了很好的调查。
3.注册方法
3.1相关和顺序方法
互相关是注册的基本统计方法。 如果通常用于模板匹配或模式识别，其中在图片中找到模板或模式的位置和方向。就其本身而言，互相关不是注册方法。它是相似性度量或匹配度量，即，它给出了图像和模板之间的相似度的度量。但是，有几种注册方法是它的主要工具，本节将讨论这些方法以及与之密切相关的顺序方法。这些方法通常适用于由于小的刚性或仿射变换而未对准的图像。
对于模板T和图像I(其中T比I小)，二维归一化互相关函数测量每个翻译的相似度：
如果除强度比例因子外，模板与图像精确匹配，且转换为(i，j)，则互相关的峰值将位于C(i，j)。 (有关Cauchy-Schwarz不等式的证明，请参见Rosenfeld和Kak [1982]。)因此，通过在所有可能的平移上计算C，可以找到图像中任何模板大小的窗口的相似度。请注意，必须对互相关进行归一化处理，否则局部图像强度会影响测量。
互相关度量与更直观的度量直接相关，后者更直观地计算出模板与图片在模板的每个位置之间的差平方和：
由于当将模板放在模板最相似的位置(u，v)上的图片上时，相应强度之间的差异将最小，因此此度量随相似度而降低。对于我们测量的每个位置(u，v)，定义为ΣxΣyT2(x，y)的模板能量都是恒定的。因此。我们应该像以前一样使用局部图像能量ΣxΣyI2(x – u，y – v)进行归一化。请注意，如果将此直观度量D(u，v)扩展为其二次项，则将包含三个项：模板能量项，模板和图像的乘积项以及图像能量项。乘积项或相关性ΣxΣyT(x，y)I(x – u，y – v)在归一化时确定该度量的结果。
相关度量在需要绝对度量时是有利的，它是相关系数
其中，uT和σI是模板的均值和标准差，uI和σI是图像的均值和标准差。1 此统计量度的性质是，它以[– 1，1]的绝对比例测量相关性。在某些统计假设下，由相关系数测量的值给出了图像之间相似度的线性指示。这对于在比赛中定量测量置信度或可靠性并减少预先确定的置信度足够时所需的测量次数很有用[Svedlow等人 1976]。
1 图像的平均值u是平均强度值； 如果图像I是在x = 1，N，y = 1, M区域上定义的，则
。 标准偏差是强度值在那里变化的量度。 定义为
。
考虑一个二进制图像和二进制模板的简单示例，即所有像素都是黑色或白色，对此，可以以一定概率预测图像中的像素是否具有与像素相同的二进制值在模板中。使用相关系数，可以计算图像是模板实例的概率或置信度。我们假设模板是我们正在寻找的模式的理想代表。该图像可以是也可以不是该模式的实例。但是，如果我们可以统计地表征损坏图像的噪声，则可以使用相关系数来定量测量图像作为模板实例的可能性。
相关性定理给出了相关性的另一个有用特性。相关性定理指出，两个图像的相关性的傅立叶变换是一个图像的傅立叶变换和另一个图像的傅立叶变换的复共轭的乘积。该定理提供了另一种方法来计算图像之间的相关性。傅立叶变换只是表示图像功能的另一种方法。傅立叶变换不是像通常那样在空间域中表示图像，而是在频域中表示相同的信息。给定一个域中的信息，我们可以轻松转换到另一个域。傅立叶变换被广泛应用于许多学科中，无论是在具有内在价值的情况下还是在这种情况下，它都是一种工具。使用快速傅里叶变换或FFT可以有效地计算图像。因此，在许多配准问题中选择相关度量的一个重要原因是，相关定理使之能够通过使用FFT的现有经过良好测试的程序(以及偶尔在使用专用光学器件的硬件中)有效地进行计算。对于要测试的图像和模板较大的情况，使用FFT最为有益。但是，有两个主要警告。 FFT只能处理归一化之前的互相关。其次，尽管FFT更快，但它还需要随着图像区域的对数增长的存储容量。
最后，直接相关和使用FFT的相关都具有至少随图像区域线性增长的成本。使用关联来解决诸如模板匹配之类的注册问题有许多变体[Pratt 1978]。通常，针对模板的每个可允许变换来计算图像与模板之间的互相关(或以上给出的相关相似性度量之一)。互相关最大的变换指定如何将模板最佳地注册到图像。当允许的转换包括较小范围的平移，旋转和比例更改时，这是标准方法。针对每个可能的感兴趣的平移，旋转和缩放，对模板进行平移，旋转和缩放。但是，随着转换数量的增加，计算成本很快变得难以控制。这就是为什么相关方法通常限于配准问题的原因，在这些问题中，图像仅通过小的刚性或仿射变换而未对准。另外，为了减少每个变换实例的每次测量的成本，通常对特征而不是整个图像区域计算度量。经常使用模板的形状和比例不变性较小的局部特征，例如以Y或T形连接的边。
如果图像有噪点，即存在无法通过变换消除的明显失真，则相关峰可能无法清晰辨别。匹配滤波器定理指出，对于某些类型的噪声(例如加性白噪声)，使信号功率与图像的预期噪声功率之比(即信息内容)最大化的互相关滤波器就是模板本身。但是，在其他情况下，必须在乌鸦相关之前对图像进行预过滤以保持此属性。预滤波器和互相关填充器(模板)可用于生成可以同时执行两个滤波操作的单个滤波器。如果图像中的噪声满足某些统计属性，则有时可以确定要使用的预滤波器。这些技术基于图像噪声的属性进行预滤波，以最大程度地提高与该噪声相关的峰值相关性(使用“匹配滤波器定理”，然后进行互相关)，称为匹配滤波器技术[Rosenfeld and Kak 1982 ]。这些技术的缺点是它们可能需要大量的计算，并且在实践中很难满足有关图像中噪声的统计假设。
Barnea和Silverman [1972]提出了一种比传统互相关更为有效的算法，称为顺序相似性检测算法(SSDAs)。提供了两个主要改进。首先，他们根据两张图片中像素之间的绝对差异，提出了一种相似性度量E(u，v)，该度量在计算上要简单得多，
归一化度量定义为
其中
分别是模板和局部图像窗口的平均强度。这远比相关有效。相关需要标准化和乘法的额外费用。即使未标准化此度量，也可以确保达到最佳匹配的最小值。但是，归一化对于获得两个图像的差异如何的绝对度量非常有用，无论它们的强度等级如何。
Barnea和Silverman [1972]引入的第二项改进是顺序搜索策略。在翻译注册的最简单情况下，此策略可能是顺序阈值化。对于图像的每个窗口(由要测试的翻译和模板大小确定)，上面定义的一种相似性度量将被累积，直到超过阈值。对于每个窗口，记录超过阈值之前检查的点数。假设检查最多点的窗口的度量最低，因此是最好的配准。
顺序技术可以显着降低计算复杂度，而性能下降最小。为了使该方法适应于要配准的一组特定图像，也可以实现许多变型。例如，可以使用排序算法对测试的窗口进行排序，这可能取决于中间结果，例如从粗到精搜索或渐变技术。这些策略将在第4.3节中详细讨论。每次测试期间检查的点的顺序也可以根据模板中要测试的关键特征而有所不同。相似性度量和顺序决策算法可能会有所不同，具体取决于所需的准确性，可接受的速度和数据的复杂性。
尽管顺序方法提高了相似性度量和搜索的效率，但随着变换自由度的增加，它们的复杂性仍在增加。随着转换变得越来越普遍，搜索的规模也在增长。一方面，为了保持合理的时间复杂度，顺序搜索变得更加重要。另一方面，不错过好比赛变得更加困难。
与相关性相比，顺序相似性技术将效率提高了几个数量级。但是，Barnea和Silverman [1972]进行的测试也显示了结果的差异。在恶劣天气条件下拍摄的卫星图像中，需要先检测云并将其替换为随机噪声，然后相关才会产生有意义的峰值。他们的小型研究中发现的差异是否可以扩展到更一般的情况，还有待研究。
这两种方法的局限性在于它们无法处理不同的图像。到目前为止描述的相似性度量，相关系数和绝对差之和分别针对相同的匹配而最大化和最小化。因此，当在不同的情况下，例如在变化的光照或大气条件下获取图像时，基于傅立叶变换的不变特性的基于特征的技术和措施是优选的。在下一节中，将描述傅立叶方法。与相关和顺序方法一样，傅立叶方法适用于较小的平移，旋转或缩放比例变化。关联方法有时可以用于更一般的刚性变换，但随着变换自由度的增加而变得无效。傅立叶方法只能在经过很好变换的图像的傅立叶变换与原始图像相关的情况下使用。下一部分将要描述的方法适用于平移或旋转的图像或两者都适用。它们特别适合于低频或频率相关噪声的图像；照明和大气变化通常会导致低频失真。它们不适用于具有频率独立噪声(白噪声)的图像或更一般的变换。
3.2傅立叶方法
本节中描述的方法通过利用傅立叶变换的几个不错的特性来注册图像。平移，旋转，反射，分布和比例在傅立叶域中都具有它们的对应物。此外，如前一部分所述，可以在硬件中或使用快速傅立叶变换有效地实现该变换。这些方法与上一节中的方法不同，因为它们根据频域中的信息搜索最佳匹配。 3.1节中描述的方法使用傅里叶变换作为执行空间运算(即相关)的工具。
通过使用频域，傅立叶方法获得了针对相关和频率相关噪声的出色鲁棒性。但是，它们仅适用于至多严格未对准的图像。在本节中，我们将首先描述使用傅立叶分析的最基本方法。这称为相位相关，可用于配准已相对偏移的图像。然后，我们将描述此方法的扩展，以及一些相关的方法，这些方法处理相对于彼此已移位和旋转的图像。
Kuglin and Hines [1975]提出了一种优雅的方法，称为相位相关，用于对齐两个相对于彼此移动的图像。为了描述它们的方法，我们将定义一些我们需要在傅里叶分析中使用的术语。图像f(x，y)的傅立叶变换是一个复数函数。每个函数值在频谱的每个频率(wx，wy)上都有一个实部R(wx，wy)I(wx，wy)：
其中i =√-1。可以使用指数形式将其表示为
| F(wx，wy)|是傅立叶变换的幅度或振幅，其中ϕ(wx，wy)是相位角。幅度的平方等于图像每个频率上的能量或功率量，并定义为：
相角描述每个频率下的相移量，并定义为
相位相关依赖于傅立叶变换的平移特性，有时也称为Shift定理。给定两个图像f1和f2，它们仅相差一个位移(dx，dy)，即
它们对应的傅立叶变换F1和F2将通过
换句话说，两个图像具有相同的傅立叶幅值，但相位差与它们的位移直接相关。这个相位差由eJ(ϕ1-ϕ2)给出。事实证明，如果我们计算定义为
当F *是F的复共轭时，移位定理保证了交叉功率谱的相位等于图像之间的相位差。此外，如果我们以其空间形式表示交叉功率谱的相位，即通过在频域中对表示进行逆傅立叶变换，那么我们将具有一个脉冲函数，即除了最佳对齐两个图像所需的位移以外，其他所有位置都几乎为零。
因此，对于彼此位移的图像的傅里叶配准方法需要确定交叉功率谱相位的傅里叶逆变换的峰值位置。由于每个频率的相位差均等地起作用，因此，如果存在限制为窄带宽(即小范围频率)的噪声，则峰值不会改变。因此，该技术特别适合于具有此类噪声的图像。因此，这是一种在不同照明条件下获得图像的有效技术，因为照明变化通常缓慢变化，因此会集中在低空间频率上。类似地，由于该技术对光谱能量的变化不敏感，因此该技术相对于场景无关，并且对于从不同传感器获取的图像很有用。仅将相位信息用于相关的这种特性有时被称为每个图像的白化。除其他事项外，白化对于亮度的线性变化是不变的，并且使相位相关性度量相对于场景独立。
另一方面，如果图像具有明显的白噪声，即噪声分散在所有频率上，则峰值位置将不准确，因为每个频率的相位差都会受到破坏。在这种情况下，最后一节中描述的找到空间互相关峰值的方法是最佳的。 Kuglin and Hines [1975]建议在进行傅立叶逆变换以创建一系列相关技术之前，将广义加权函数引入相位差，包括相位相关和常规互相关。以这种方式，可以根据期望的抗噪性的类型来选择加权函数。
在相位相关技术的扩展中，De Castro和Morandi [1987]提出了一种记录图像的技术，该图像相对于彼此平移和旋转。通过将旋转表示为具有极坐标的平移位移，可以以与使用相位相关的平移类似的方式推论其本身不进行平移的旋转运动。但是旋转和平移共同代表了更为复杂的转变。 De Castro和Morandi [1987]提出了以下两步过程，首先确定旋转角度，然后确定平移。
傅立叶变换使旋转不变。旋转图像会将图像的傅立叶变换旋转相同的角度。如果我们知道角度，则可以旋转交叉功率谱并根据相位相关方法确定平移。但是，由于我们不知道角度，因此我们根据旋转角度ϕ 估算值 计算交叉功率谱的相位，并使用极坐标(r，θ)简化方程。这给我们一个功能
在真实的旋转角度下，它应该具有仅平移图像所需的形式。因此，通过首先确定使交叉功率谱的相位的傅立叶逆变换最接近于脉冲的角度，我们可以将平移确定为该脉冲的位置。
在实现上述方法时，应注意，必须使用某种形式的插值来查找旋转后的变换值，因为它们不会自然地落在离散网格中。尽管这可以通过在空间域中首次旋转后计算转换来完成，但这将太昂贵。 De Castro和Morandi [1987]将变换应用于零填充图像，从而提高了分辨率并改善了旋转后变换的逼近度。由于每个also的测试困难，该方法也很昂贵。 Alliney和Morandi [1986]提出了一种方法，该方法仅需要一维傅立叶变换即可计算相位相关性。通过使用每个图像的x和y投影，傅里叶变换由投影切片定理给出。 x和y投影的一维变换分别是2D变换的行，其中wx = 0，而列则wy = 0。尽管获得了可观的计算节省，但是该方法除了相对较小的翻译之外，不再具有鲁棒性。
作为一个类，傅里叶方法在噪声敏感性和计算复杂性方面具有优势。李等人[1987]开发了一种类似的技术，该技术使用图像的功率倒谱(功率谱的对数的功率谱)来注册图像，以便早期检测青光眼。首先，通过确定使功率谱差异最小的角度来使图像平行(如果它们之间仅存在平移，理论上应为零)。然后，以与相位相关类似的方式，使用功率谱确定平移对应关系。与De Castro和Morandi [1987]相比，这具有优势，因为使用对数，通过添加图像而不是将图像相乘可以节省计算量。 De Castro和Morandi [1987]的工作总结了1987年之前在意大利发表的先前工作，但没有与Lee等人进行直接比较。 (1987)尚未进行。与第3.1节中提到的主要方法相比，这两种方法均具有更好的准确性和鲁棒性，并且比经典相关性所需的计算时间更少。但是，由于傅立叶方法依赖于它们的不变性，因此它们仅适用于某些定义明确的转换，例如旋转和平移。在以下部分中，将基于一组匹配的控制点来描述更通用的技术。这些技术可用于包括多项式和分段局部在内的任意转换。此外，即使在小的刚性变换的情况下，也不总是能够使用到目前为止描述的技术来配准图像。如果存在大量的空间局部变化(即使未对准仅是由于小的刚性变换引起的)，则相关性和傅立叶技术就会崩溃。复杂地使用特征检测可以帮助克服某些局部变化，但是在3.3.2节中，我们将介绍更强大的方法，该方法将点映射与反馈配合使用以容忍这些类型的变化。
3.3点映射
点或界标映射技术是当前用于注册两张其对齐方式未知的图像的主要方法。如果无法轻松地对变换类别进行分类，例如通过一组小的平移或刚体运动，则会发生这种情况。例如，如果从具有平滑深度变化的场景的不同视点拍摄图像，则这两个图像将根据透视变形而有所不同。我们无法确定适当的透视变换，因为通常我们不知道场景中的实际深度，但是我们可以使用在两个图像中都可以找到的界标，并使用广义变换对其进行匹配。但是，如果场景不是由光滑的表面组成，而是具有较大的深度变化，则变形将包括在图像之间不同的遮挡，出现在图像之间相对位置不同的对象以及其他局部性更强的变形。随着这些变形变得更加局部，对于全局点映射方法来解决图像之间的未对准问题将变得越来越困难。在这种情况下，使用局部变换的方法，例如局部点映射方法，将是优选的。
点映射的一般方法包括三个阶段。在第一阶段，计算图像中的特征。在第二阶段，参考图像中的特征点(通常称为控制点)与数据图像中的特征点相对应。在最后阶段，使用这些匹配的特征点确定空间映射，通常是指定顺序的两个2D多项式函数(配准图像中的每个坐标一个)。通过应用空间映射和插值，可以将一个图像重采样到另一图像上。
上面将点映射描述为三阶段过程是用于因未知变换而未对齐的图像的标准点映射技术。但是，还有一组点映射方法用于那些未对准是小的刚性或仿射变换，但包含大量局部未校正变化的图像。在这种情况下，第3.1节和第3.2节中的技术不足，因为可能的匹配之间相似性的相对度量变得不可靠。
点映射方法可以通过使用找到控制点之间的对应关系和找到最佳变换的阶段之间的反馈来克服此问题。
在以下四个部分中，我们将描述(1)不同类型的控制点及其匹配方式；(2)具有局部变化的小刚性或仿射变换的带反馈点映射；(3)全局点映射方法这从匹配的控制点开始进行一般转换，以及(4)使用图像分割技术和局部分段转换的局部映射的最新工作。
3.3.1控制点
用于点匹配的控制点在此方法的功效中起着重要作用。点匹配后，其余过程(三阶段点映射)仅用于插值或近似。因此，点匹配的准确性为准确套准奠定了基础。在本节中，我们将描述用作控制点的各种功能，如何确定它们以及如何找到参考图像和数据图像中控制点之间的对应关系。
除了点映射技术外，还有许多注册方法也可以执行特征检测。所有这些技术(包括点映射)中使用的功能在第4.1节中进行了描述。在本节中，重点在于用作点映射控制点的特征的各个方面，以及在确定最佳变换之前如何对它们进行匹配。
控制点可以是内部的，也可以是外部的。本质控制点是图像中与数据本身无关的标记。通常将它们专门放置在场景中以进行注册，并且易于识别。如果将标记放置在传感器上，例如，刻在传感器面板上的小横杆的十字标记，则它们会根据图像的变形独立校准每个图像，从而有助于套准。在医学成像中，称为基准标记的可识别结构被放置在患者体内的已知位置以充当参考点。在磁共振成像(MRI)系统中[Evans等人 [1988年]，化学标记物，例如装有CuSO4的塑料N型管，被策略性地放置以协助注册。在正电子发射断层扫描(PET)[Bergstrom等人 1981年；博姆等人1983年； Bohm and Greitz 1988；福克斯等人[1985]使用立体定向坐标系，以便可以识别三维坐标参考系。尽管出于明显的原因，最好使用固有控制点，但并非总是可以使用固有点。例如，在诊断图像中并不总是可能在内部精确放置标记[Singh等人1979]。
外部的控制点是从数据中手动或自动确定的。手动控制点，即由人为干预识别的点，例如可识别的地标或解剖结构，具有几个优点。可以选择在两个数据集中都是刚性的，固定的且易于精确指出的点。当然，他们需要在该领域知识渊博的人。在存在大量数据的情况下，这是不可行的。因此，许多应用程序使用控制点的自动定位。使用的典型特征是拐角，直线相交，等高线上局部最大曲率的点，具有局部最大曲率的窗口的中心以及封闭边界区域的重心[Goshtasby 1988]。选择在两个图像中都可能唯一找到的特征(使用多传感器数据时，这是一个更为棘手的问题)，并且对局部失真的容忍度更高。由于计算适当的变换取决于这些特征，因此必须检测到足够的数量以执行计算。另一方面，太多的特征会使特征匹配更加困难。由于将大大影响点匹配方法的准确性和效率，因此要使用的功能数量成为一个关键问题。对于使用全局多项式变换的情况，这将在3.3.3节中详细讨论。
在确定特征集之后，必须匹配每个图片中的特征，即，一个图像中的每个特征与另一图像中的其对应特征匹配。对于手动识别的地标，查找点并进行匹配是同时进行的。但是，在大多数情况下，只需要翻译(例如模板匹配)的小规模注册即可找到每个功能的匹配项。通常，尤其是对于手动或内部界标，如果它们不手动匹配，则可以使用互相关来完成此操作，因为在此级别需要高精度，并且模板大小足够小，因此计算是可行的。对于自动找到的界标，可以根据这些点的属性(例如曲率或主轴方向)确定匹配项。其他技术将特征的匹配和最佳变换的确定结合在一起。这些包括聚类，松弛，两组最小生成树的匹配以及两组凸壳边缘的匹配[Goshtasby 1988]。第3.3.2节介绍了其中的一些技术。这些技术不是将每个点分别映射，而是将一个图像中的点集映射到第二个图像中的对应点集。因此，匹配解决方案使用来自所有点及其相对位置的信息。这导致配准技术匹配控制点并同时确定最佳的空间变换。在难以匹配控制点的情况下，例如，模糊特征(例如自动找到的拐角)或使匹配不可靠的局部变化，这具有使用转换类型约束匹配的优势。但是，在可以先验确定精确的点匹配集的情况下，可以使用标准统计技术直接找到最佳全局转换。后者是历史上采用的主要注册方法，因为控制点通常是手动确定的，并且由于其计算的可行性。
3.3.2带反馈的点映射
在本节中，我们将简要描述一些为难于进行特征检测和特征匹配的情况而针对刚性和仿射变换开发的方法的示例。通过在找到控制点匹配和找到最佳变换的阶段之间使用反馈，这些技术可以成功地注册图像，其中自动获取的特征不明确或存在大量未校正的局部变化。这些技术依赖于更复杂的搜索策略，包括松弛，协作，聚类，分层搜索和图匹配。搜索策略在第4.3节中有更详细的描述。
带反馈的点映射技术的一个示例是Ranade和Rosenfeld [1980]描述的松弛技术，可以将其用于平移下的图像配准。点匹配和最佳空间变换的确定是同时完成的。特征点的每个可能匹配都定义了一个位移，该位移根据其他对在该位移下的匹配程度而获得等级。重复该过程，根据它们的等级并行调整每对点的权重，直到找到最佳转换。排量接近实际排量的每个比赛都趋向于具有较高的评分，从而随着过程的重复进行，对比赛产生更大的影响。这种技术可以容忍全局和局部未校正的变化。对于移位后的图形也旋转和缩放的情况，以及每个特征点均使用均匀分布的方向和跳跃大小独立移动的情况，它能够找到正确的平移。但是，计算复杂度为O(n4)，其中n是控制点的数量。 Ton和Jain [1989]对LANDSAT图像进行了实验，从而改善了这一点，他们利用了特征的区别性(除了它们的相对位移)，并且使用了双向匹配，其中点这两个图像都会启动匹配过程。他们改进的松弛算法的时间复杂度为O(n3)。
Stockman等人描述的聚类技术。 [1982]是具有反馈的点映射方法的另一示例，或者换句话说，是一种通过评估所有可能的特征匹配对来确定图像之间的最佳空间变换的方法。在这种情况下，变换是刚性的，即旋转，缩放和平移，尽管它可以扩展到其他简单的变换。对于每个可能的匹配特征对，确定代表簇空间中一个点的变换参数。通过使用经典统计方法找到这些点的最佳聚类，可以找到与最大数量的点最匹配的转换。类似于上述松弛方法，该技术可以容忍未经校正的局部变化，但时间复杂度为O(n4)。由于随着点数的增加这变得令人望而却步，因此Goshtasby和Stockman [1985]建议选择点的子集以缩小搜索范围。选择子集作为点集的凸包边界上的点。 (凸包是包含集合中所有点的最小凸形。)尽管集合可能不相同(如果图像嘈杂)，但可以预期会有一些共同点。
[Goshtasby等人86]使用的另一种改进是使用封闭边界区域的重心作为控制点，这些控制点基于当前的最佳刚性变换进行迭代更新。使用基于迭代阈值图像的简单分割方案，可以找到封闭边界区域。这些区域的重心用作控制点。基于像[Stockman 等人82]中使用的聚类方案，确定了两个图像中控制点之间的对应关系。这些匹配用于基于最小二乘误差分析找到最佳的刚性变换。依次使用这种刚性变换来改善每个区域的分割，直到该区域与另一幅图像中的相应区域最相似为止(基于其形状，而与位置，方向或比例无关)。区域变得与其他图像中的相应区域最佳相似。此外，可以以亚像素精度计算每个区域的重心，并期望它们可以合理地抵抗随机噪声，并且可以使用此信息来改善配准。
图7显示了通过这种技术注册的卫星图像的示例。图7(a)显示了从密歇根州9/26/79采集的区域的热容量绘图任务卫星日可见(HCMM Day-Vis)图像。图7(b)显示了在7/4/78上获得的大约相同区域的HCMM夜间IR图像。图7(c)和(d)显示了从这些图像的初始分割中发现的闭合边界区域(其周长不太大或太小)。图7(e)显示了应用优化算法后(d)的区域，即夜红外图像。请注意，(e)中的区域与(c)中的区域相比，在细化之前如何更加相似。使用这些区域的重心作为控制点的最终集合，将图7(b)映射为匹配图7(a)的结果显示在(f)中。为了更清楚地看到配准，取反(f)并将其叠加到(a)上的结果如图(g)所示。两幅图像中相应区域的重心之间的均方误差略小于一个像素。
图7.通过点映射技术在反馈下注册的卫星图像的示例，(a)和(b)是原始图像； (c)和(d)显示了在第一个迭代中找到的封闭边界区域； (e)显示了(d)中的区域，并对其进行了细化以使其尽可能与(c)中的区域相对应； (f)显示(b)已根据这些最终区域进行匹配(a)的转换； (g)显示最终注册，即(f)覆盖在(a)上。 (转载自Goshtashy等人[1986]，版权1986，IEEE。)
这种类型的方案允许对未校正的局部变化不敏感的全局匹配，因为(1)他们使用控制点和局部相似性度量；(2)他们使用图像中控制点之间的空间关系信息；(3)仅根据支持证据就可以考虑可能的匹配。这些技术的实现需要更复杂的搜索算法，因为局部未校正的变化使搜索空间更难遍历。因此，这些方法利用了基于部分匹配以及匹配之间的关系并通过测试匹配的更多可能组合而获得的更微妙的信息。但是，在不使用其他约束(例如由相机几何形状或场景的语义强加)的情况下，这些技术仅限于小型仿射变换，因为否则搜索空间将变得太大且难以管理。
图8.简单函数1 /(1 + 25x2)M由5和20度多项式插值而成(从Forsythe等人[1977]转载，permmsion，Prentice-Hall，Inc.)
3.3.3无反馈的点映射—全局多项式方法
标准的点映射技术，即没有反馈的点映射，可以用于注册图像，这些图像的对齐图像所需的变换是未知的。由于经常很难对错误注册的来源进行分类和建模，因此这些技术得到了广泛使用。
基于点匹配的全局方法使用一组匹配点来生成单个最佳变换。给定足够数量的点，我们可以通过近似或插值来得出任何变换的参数。近似地找到变换的参数，以便匹配点尽可能满足它。通常使用统计方法(例如最小二乘回归分析或聚类)完成此操作。近似方法假设匹配因本地噪声而失真。这种噪声无法通过转换消除，这是因为转换无法解决该噪声，或者因为图像包含感兴趣的差异。因此，要找到的变换与控制点不完全匹配，而是找到最佳近似值。匹配点的数量必须足够大于转换参数的数量，以便有足够的统计信息来使逼近可靠。对于大量的自动控制点，近似值最有意义，因为匹配可能不准确。但它们合在一起包含很多统计信息。对于固有或手动控制点，通常匹配较少但更准确，这表明插值可能更适用。插值法找到匹配两个图像的变换，以便完全满足为控制点找到的匹配。变换的每个独立参数都必须有一个精确的匹配点才能求解方程组。产生的变换定义了应如何对图像重新采样。但是，如果控制点太多，则要满足的约束数量也会增加。如果使用多项式变换，则会导致多项式的阶数增长，并且多项式具有较大的意外波动。在这种情况下，最好使用最小二乘近似或样条曲线以及其他分段插值方法。
在许多注册问题中，映射函数的精确形式是未知的，因此需要常规转换。因此，通常使用二元多项式变换。它们可以表示为两个空间映射
其中(x，y)是参考图像的索引；(u，v)是要映射到图像的索引，而aij和bij是要确定的常数多项式系数。多项式的阶数m取决于特定问题所需的精度和速度之间的权衡。对于许多应用，二阶或三阶就足够了[Nack 1977; Van Wie 和 Stein 1977]。但是，一般而言，多项式变换仅可用于解决低频失真，因为在多项式的阶数较高时，它们的行为无法预测。图9[Forsythe等人1977]中显示了一个著名的例子，由C. Runge在1901年发现。
图9.使用全局多项式映射无法令人满意地记录图像的示例(右下图)，但是需要查找局部变换(左下图)。 顶部显示了在不同时间和不同位置拍摄的原始航空影像。 使用的局部配准技术基于表面样条曲线的近似值，但速度更快。 (由于J. Flusser的缘故，在Pergamon Press的许可下，转载自Flusser等人，[1992]。)
如果使用插值，则多项式的系数由N个方程式的系统确定，该方程式由N个控制点中的每个控制点的映射确定。在最小二乘近似中，上述方程式左右两边之间的适当差的所有控制点之和最小。在最简单的方案中，可以通过将偏导数设置为零来确定最小值，从而得到T =(m = 2)(m = 1)/ 2线性方程组(称为正态方程)。如果控制点的数量远大于T，则可以求解这些方程。
Bernstein [1976]使用这种方法来校正与低频传感器相关的失真以及地球曲率，相机姿态和高度偏差引起的失真的卫星图像。Maguire等人[1990]使用这种方法来注册来自不同形式的医学图像。图2所示的CT和SPECT图像是其方法的示例。在第一张图像中手动找到的解剖界标与第二张图像中相应界标附近的像素互相关，以创建一组匹配的控制点。线性回归用于拟合低阶多项式变换，该变换用于将一个图像映射到另一个图像。在图的底部，将MRI图像(在右侧)进行变换以适合SPECT图像。在SPECT图像上显示了在MRI图像上用手在肝脏周围绘制的轮廓，以显示配准的结果。配准能够校正仿射扭曲，例如平移，旋转，缩放和剪切，以及其他较难分类的全局扭曲。但是，在已知有关两个图像获取差异的更多信息的情况下，则可能不需要一般的多项式变换。 Merickel [1988]使用特征点的线性最小二乘拟合直接由旋转，平移和缩放组成的变换，对生物组织的连续序列切片进行3D重建登记。
随着多项式变换的阶数增加，因此参数之间的依存关系成倍增加，使用正态方程式求解最小二乘逼近可能在计算上变得昂贵且不准确。可以通过将正交多项式用作多项式映射项来缓解这种情况。这基本上涉及将原始多项式映射表示为正交多项式的组合，而正交多项式又由线性独立的函数构成。由于多项式是正交的，因此简化了参数之间的依赖性，并且可以解析地找到新表示形式的参数，即，不再需要求解线性方程组。正交多项式还有一个很好的特性，即可以通过按需增加变换的精度，而无需通过简单地添加新项直到误差足够小来重新计算所有系数[Goshtasby 1988]。
全局点映射方法的主要局限性在于，全局变换无法解决局部几何变形，例如从不同角度观察到的传感器非线性，大气条件和局部三维场景特征。在下一节中，我们将描述如何通过计算仅依赖于控制点附近的局部变换来克服此缺点。
3.3.4局部方法-分段插值
上面讨论的全局点映射方法无法处理局部失真。逼近方法将局部失真散布在整个图像中，并且用于过多控制点的多项式插值方法需要行为不规则的高阶多项式。这些方法的特征是全局的，因为使用了一次转换将一个图像映射到另一个图像。通常从使用所有控制点的一次计算中发现这种变换。
在本节将要讨论的局部方法中，对每个局部块或迭代地执行多个计算，将计算扩展到不同的邻域。只有足够接近的控制点(或可能由其接近度加权)会影响映射转换的每个部分。换句话说，映射变换不再是具有一组与位置无关的参数的单个映射。局部映射变换的参数在图像的不同区域之间变化，因此考虑了在图像上不同的失真。局部方法更强大，可以处理全局方法无法处理的许多失真；示例包括从不同视点拍摄的复杂3D场景，可变形的对象或运动，以及不同传感器或场景条件的影响。另一方面，在这些方法的功能与其相应的计算成本之间要进行权衡。
图9显示了一个航空图像的示例，该图像无法使用多项式映射令人满意地配准。图的顶部是在不同时间从飞机的不同位置拍摄的两个图像。使用17个控制点，使用最小二乘法逼近拟合了二阶多项式映射函数。使用此映射的结果显示在右下角。由于局部失真，平均误差超过5个像素。使用Flusser [1992]提出的局部方法，以不到1个像素的精度记录了图像(左下)。
可用于通过点匹配解决局部失真的技术类别是分段插值。在这种方法中，为每个坐标指定了空间映射变换，该变换在匹配的坐标值之间进行插值。对于坐标映射为的N个控制点
构造了两个双变量函数(通常是平滑函数)，它们在规定的位置采用这些值。由于控制点不可避免地会分散，因此必须针对不规则间隔的数据点设计可以在这种情况下应用的方法。 Franke [1979]进行的表面近似技术研究对这些方法进行了精确的比较，分别在多个表面上进行了测试并评估了它们的性能特征。可以看出，Franke [1979]研究中使用的方法尽管不是为此目的而设计的，但仍是当前本地图像配准工作的基础。
Franke [1979]评估的大多数方法都使用通用样条方法进行分段插值。这就需要选择一组基本函数Bij和一组约束来满足，以便求解线性方程组将指定插值函数。特别地，样条表面S(x，y)可以定义为
Vi, j是控制点。对于大多数样条曲线，基函数由低阶多项式构造而成，并且系数是使用通过满足最终条件和各种空间连续性得出的约束来计算的。在最简单的情况下，计算相邻点的加权总和，其中权重与距离成反比，例如线性插值。这些方法称为反距离加权插值。另一种选择是从图像的某种划分(例如三角剖分)确定一组相邻点。在这种情况下，权重取决于子区域的属性。这些方法称为基于三角形的方法。弗兰克研究中考虑的另一套方法是全局基函数类型方法。这些方法的特征在于全局基函数Gi, j(x，y)和系数Ak，这些系数通过强制方程S(x，y)=Σi, j Ai, jGi, j(x, y)内插数据而确定。这些技术包括所谓的表面样条，该表面样条通过在点载荷(即数据)的作用下将其表示为无限板的表面来对数据进行插值。检查了每种方法的几种变体，更改了基本函数，加权系统和图像分割的类型。这项全面的研究为比较散点数据的表面插值技术的准确性和复杂性提供了很好的参考。
尽管所有这些方法都计算局部插值，但它们可能会或可能不会在计算中使用所有点。那些通常更昂贵，并且可能不适合大数据集。但是，由于全局信息可能很重要，因此许多本地方法(即寻找本地注册转换的方法)都采用了根据全局信息计算出的参数。全局基函数类型方法是其实例。 Goshtasby [1988]使用这种技术的表面样条曲线记录了图1所示的胸部x射线图像，它们之间存在明显的局部变形。配准的结果如图10所示。在Franke研究的方法中，大多数全局基函数方法(包括表面样条线)是最准确的方法，尽管它们也是最慢的方法。
图10.图1所示的胸部X光在使用表面呼吸管进行配准后显示在此处。 (感谢Goshtasby。)
Flusser [1992]对这种方法进行了修改，通过自适应细分图像，使用更简单(即，更快)的变换来计算每个子区域，从而在保持令人满意的精度的同时加快了速度，但只有在其和使用表面的结果之间存在误差时才使用此变换花键足够小。 (通过对区域中随机点的子集进行采样和评估来计算误差。)如果误差太大，则将区域递归细分，直到满足误差标准为止。图9中的图像使用此技术进行配准。虽然全局方法通常是最准确的，但仅依赖于本地计算的本地方法不仅效率更高，而且可以本地控制。这些方法对于在图形环境中进行手动注册非常有用。可以注册图像区域，而不会影响已经匹配的其他部分。此外，在某些情况下，例如，如果存在不应该影响变换的感兴趣的局部变化，则局部计算实际上可能是优选的。
根据研究中讨论的一组表面插值技术，许多配准技术都是可能的。例如，Goshtasby [1986]提出使用控制点的“最佳”三角剖分将图像划分为局部区域进行插值。三角剖分将图像控制点的凸包分解为三角形区域；在“最佳”三角剖分中，每个三角形区域内的点都比其任何一个三角形的顶点更靠近其顶点之一。然后根据图像所属的三角形补丁中顶点的插值，为图像中的每个点计算映射变换。后来，Goshtasby [1987]扩展了该方法，以便通过使用分段三次多项式插值法，映射将连续且平滑(C1)。为了使约束数量与三次多项式中的参数数量匹配，Goshtasby [1987]将每个三角形分解为三个子三角形(使用三角形内的任何点作为每个子三角形的第三个顶点)，正如Clough和Tocher [1965]所建议的那样。 。通过确保偏导数在每个点和属于两个三角形补丁的每个边上匹配，该方法可以求解每个三次补丁的参数并提供补丁之间的平滑过渡。
假设图像之间的差异是连续且平滑的，则分段三次多项式方法可以连续记录具有局部几何变形的图像。但是，在存在不连续的几何差异的情况下，例如在发生咬合的运动序列中，该方法将失败。另外，Franke [1979]的研究得出的结论是，当出现长的细三角形时，使用三角剖分的方法存在问题，并且偏导数的估计可能会很困难。该技术的成本包括三角测量的成本，为每个三角形补丁求解线性方程组的成本以及从所得多项式计算每个注册点的值的成本。三角剖分是初步的“全局”步骤，其复杂度随着控制点的数量而增加。在可用于三角剖分的各种算法中，Goshtasby [1987]选择了最快，最容易实现的算法之一。它基于具有复杂度O(N log N)的分治算法，其中N是控制点的数量。由于剩余的计算纯粹是局部计算，因此它相对有效，但是其成功受到完全控制最终注册的控制点的数量，位置和邻近程度的严格限制。
对于许多配准问题，局部和全局失真都存在，采用分层方法来寻找最佳变换是有用的。 Ratib [1988]提出，对心脏的PET图像进行“弹性”匹配就足以通过最佳的刚性变换来全局地匹配图像，然后通过与控制点完美匹配的局部插值方案对其进行改进。根据刚性变换，计算出将每个控制点与另一幅图像中最近的控制点完美对齐所需的位移。然后，通过每个控制点的位移的加权平均值对每个图像点进行插值，其中权重与其与每个控制点的距离成反比。这很简单；但是，后者仍然是全局计算，因此非常昂贵。 Franke [1979]提到了几种通过在每个控制点周围使用盘状区域来指定这种计算区域的方法，这些区域指定了影响区域。权重既可以作为抛物线函数(在磁盘外减小为零)来计算，也可以使用更简单的函数来计算，权重随距离相对于磁盘大小而变化，并以类似抛物线的方式减小到磁盘外的零。这些方法都是反距离加权插值的示例。它们是高效且简单的，但是根据Franke [1979]的研究，它们通常不能与许多其他表面插值技术(例如三角剖分法或基于有限元的方法)相提并论。但是，基于对六个数据集进行的准确性，外观，时间和存储成本的测试，结合权重的定位(使用一个简单的函数，该函数在磁盘的中心为零处为零)在每个数据点上拟合了一个二次最小二乘法。发现插值点是所有方法中最好的方法之一。
Goshtasby [1988]提出的另一种配准技术，也是从Franke [1979]研究中讨论的插值方法中得出的，称为局部加权均值方法。尽管Franke [1979]的研究对于比较插值方法非常有用，但是将这些技术应用于实际配准问题却暴露了其他类型的限制和依赖性。在局部加权平均法中，为每个控制点找到一个阶数为n的多项式，以适合其n – 1个最近的控制点。然后，将注册图像中的一个点计算为所有这些多项式的加权平均值，选择权重以使其与到每个相邻控制点的距离相对应，并确保所有位置的平滑度。局部加权方法的计算复杂度线性地取决于控制点数量P，多项式阶数的平方M 2和图像大小N2的乘积，即，复杂度为O( PM2N2)。同样，该方法依赖于完全局部的计算，每个多项式都基于局部信息，并且仅使用局部多项式来计算每个点。因此，与参数依赖于全局计算的方法相比，其效率很高，但是该过程的成功受到控制点的准确性和选择的限制。实际上，在实施过程中，仅使用了已知控制点的一个子集，因此每个多项式的影响力将散布到足以覆盖没有点的图像位置。
请注意，与上一节的全局点映射方法相比，局部插值方法的复杂性要慢得多。因为变换的参数取决于图像中的位置，所以对于每个子区域有效地执行单独的计算(可能是全局的也可能不是全局的)来确定其参数。备选地，当计算映射变换时，必须针对每个像素执行更复杂的计算，这取决于其相对于划分或其他控制点的相对位置。如果我们要注册具有局部失真的图像，这就是我们要付出的代价。
同样，尽管这些方法仅对每个映射使用本地计算，但是我们假定已经找到并匹配了控制点。这是配准及其最终计算复杂度的关键部分。此外，这些方法的实现通常由于缺少控制点和关于如何找到匹配项的信息不足而变得复杂。但是，这些方法的准确性高度取决于匹配的数量，位置和准确性。尽管它们有时能够校正局部失真，但局部点映射方法却可以一次完成。在点匹配与插值或逼近之间没有反馈。他们也没有利用可以改善和加速提取局部失真的几种算法技术。即，这些是迭代，分层方法和协作。这是因为(根据定义)这些技术基于在确定配准变换之前已找到并匹配的控制点。这些技术的结构中没有固有的关系，它们关系到控制点匹配和最佳变换。在下一节中，将介绍另一类方法，这些方法通过利用这些算法技术并使用弹性模型来约束注册过程，从而克服了对控制点精确匹配的依赖性。
3.4基于弹性模型的匹配
图像配准的最新工作是利用弹性模型的技术的发展。这些方法不是直接应用分段插值来计算将一个图像的控制点映射到另一个图像上的控制点的变换，而是将图像中的变形建模为弹性材料的变形。换句话说，配准变换是弹性材料以最小的弯曲和拉伸量变形的结果。弯曲和拉伸的量由弹性材料的能量状态表征。然而，分段插值的方法密切相关，因为可以使用样条曲线来解决满足弹性模型约束所需的能量最小化。确实，数学样条曲线的前身是物理样条曲线，该样条曲线在桩钉周围弯曲(约束)，并具有使应变能最小化的形状。
通常，这些方法近似图像之间的匹配，尽管它们有时使用特征，但它们不包括特征匹配的预备步骤。图像或对象被建模作为弹性体，和在所述两个图像中的点或特征之间的相似性作为外力其中“拉伸”身体。这些通过刚度或平滑度约束来抵消，通常将其参数化以给用户一些灵活性。该过程最终是确定最小能量状态，该最小能量状态所产生的变形变换定义配准。与找到最小能量状态或平衡有关的问题通常涉及迭代数值方法。
弹性方法模拟物理变形，因此通过匹配结构来配准图像。因此，已经开发并经常用于形状和运动重建以及医学成像中的问题。在这些域中，关键任务是对齐图像对中的拓扑结构，仅去除其细节上的差异。因此，弹性方法能够记录具有某些最复杂失真的图像，包括3D对象的2D投影，其运动(包括遮挡的影响)和弹性对象的变形。
使用基于弹性模型的方法校正局部变形的最早尝试之一就是“橡胶罩”技术[Widros 1973]。此技术是对自然数据进行模板匹配的扩展，并用于分析染色体图像，色谱记录和心电图波形。通过为每个问题域中可能的变形定义特定的参数来实现柔性模板技术。例如，染色体的变形参数描述了四个“臂”中每个臂的长度，宽度，角度和曲线，其中角度和曲线描述了臂相对于定型染色体的弯曲方式。这些参数用于迭代修改模板，直到找到最佳匹配为止。
但是，直到1980年代[Burr 1981]，才开发出自动弹性套准方法。 Burr通过一种迭代技术来实现这一目标，该技术取决于每次迭代迭代时逐渐减小的局部邻域。在每次迭代中，确定一个图像中每个边缘或特征点与第二个图像中最近的邻居之间的距离。同样，这些距离是从第二个图像中的每个边缘或特征点开始的。然后，通过这些位移及其相邻位移的“平滑”合成将图像合并在一起，并通过它们的接近度对其进行加权。由于在每次迭代之后图像会更靠近在一起，因此邻域大小会减小，从而允许更多的“弹性”变形，直到两个图像已按要求进行了紧密匹配为止。该方法依靠简单且廉价的措施来逐渐匹配彼此局部失真的两个图像。它已成功应用于手绘字符和仅由边缘组成的其他图像。对于灰度图像，需要在每次迭代时计算成本更高的局部特征量度及其对应的最近邻位移值。 Burr将其应用于两张女孩脸上的图像，其中，他的方法有效地“转动了女孩的头”和“闭上了嘴”。
对于任何局部方法，即确定局部变换的方法，均应考虑该方法的三个方面。在没有其他知识可以帮助先验地找到控制点匹配项的情况下，这些技术特别有用。
·迭代：一般的点映射方法被描述为一个三步过程：(1)确定特征点，(2)在第二张图像中找到它们与特征点的对应关系，(3)近似或内插的变换找到这套匹配点。对于这样的迭代技术，此序列或其后半部分会被迭代，并且常常变得错综复杂。在Burr [1981]的工作中，在每个迭代步骤中都找到了特征，并确定了一种影响转换的对应措施，然后在重复序列之前执行该转换。此外，从每次迭代有效交互邻域变化的意义上说，该技术是动态的。
·层次结构：首先校正更大和更多的全局失真。然后，逐渐减小并校正更多的局部失真，直到找到与所需的精细匹配的对应关系为止。可以发现全局失真是两个完整图像之间的最佳匹配，也许是在较低的分辨率下，因为对于这种匹配，细节不重要。然后，在粗略校正了这些全局失真之后，我们通过以高分辨率匹配图像的较小部分，逐渐发现了更多的局部失真。这具有几个优点，因为对于全局失真，我们降低了分辨率，从而降低了要处理的数据量；对于更多的局部失真，我们消除了更多的全局失真，因此减少了搜索空间和数据范围需要评估。
·合作：一个位置的功能会影响其他位置的决策。这可以以不同程度的合作以多种方式实现。在典型的协作方案中，每个可能的特征匹配都由其他相邻特征的同意程度加权，然后过程进行迭代。以这种方式，相邻特征通过在它们同意时“合作”(或者在他们不同意时抑制)来(以非线性方式)影响最佳总体匹配的确定。
由于基本相同的原因，使用这些算法方法的配准技术对于校正具有局部畸变的图像特别有用，即它们考虑并区分了局部和全局效应。迭代更新对于查找无法在一次通过中有效找到的最佳匹配非常重要，因为失真是局部变量，但取决于相邻失真。同样，合作是在整个图像中传播信息的有用方法。包括局部几何畸变在内的大多数类型的配准错误都会对图像产生局部和全局影响。因此，分层迭代通常是合适的。场景运动和弹性物体变形(例如医学或生物图像)中未对准的图像是局部和全局变形的很好示例，此外，分层/多分辨率/金字塔技术与我们的直观注册方法非常吻合。通常以这种方式处理；首先将图像粗略对齐，然后在逐步过程中包含更多细节。大多数校正局部失真的配准方法(分段插值方法除外)将这些技术以一种形式或另一个。
R. Bajscy及其合作者是弹性匹配的先驱之一[Bajscy 和 Broit 1982; Bajscy 和 Kovacic 1989； Solina 和 Bajscy 1990]。由Broit在其博士学位论文[Broit 1981]中开发的原始方法是从弹性和变形理论中得出的物理模型。该图像是一个弹性网格，理论上是一种均质介质的弹性膜，外力场作用于内力场。外力使图像朝着最相似的匹配局部变形，而内力则取决于弹性模型。从能量最小化的角度来看，这等于：
为了找到最小能量，导出了一组偏微分方程，其解是记录两个图像的一组位移。例如，为了将人脑的CT图像(参考图像)与来自地图集的相应图像对齐，可以在参考图像上放置一个规则网格，该网格可以看作是弹性网格。该网格根据外力变形，该外力源自两个图像中大脑轮廓之间的差异以及由弹性模型的属性引起的内力。该网格的变形(以及必要的插值)给出了参考图像和地图集之间的映射。 Bajcsy和Broit [1982]将这项技术应用于2D和3D医学图像，并声称其效率比Burr [1981]方法更高。正如Burr [1981]的方法一样，迭代和协作得到了明显的利用。
在Bajscy和Kovacic [1989年]的最新研究中，人脑的CT扫描与3D图集弹性匹配。与许多局部技术一样，在应用弹性匹配之前，必须首先使用刚性变换对图像进行全局对齐。以此方式，可以将图像中的差异限制为小的，即局部的变化。他们的工作遵循了Broit [1981]提出的早期方案，但是以分层的方式进行了扩展。描述弹性模型的同一组偏微分方程用作约束方程。最终确定最终配准的外力被计算为局部相似度函数的梯度向量。这些力通过将弹性网格局部拉向局部相似函数的最大值来作用在弹性网格上。特别是，对于一张图像中的每个小区域，我们测量与该区域与第二张图像中附近区域的相关性。这些度量的变化用作弹性模型方程式中的外力。这要求局部相似度函数具有最大值，该最大值有助于明确信息进行匹配。因此，仅使用存在极大最大值的区域中的力。然后，通过从最粗略的分辨率开始的每个级别的有限差分近似，对弹性模型方程组进行数值求解。对最粗糙级别的解进行插值，并用作对下一个更精细级别的第一近似。
分层方法具有几个优点。如果方程中的弹性常数较小，则解决方案将主要受外力控制。这会导致图像不真实地翘曲，并且会放大噪声的影响。通过逐步使图像变形，可以使用较大的弹性常数，从而产生一系列平滑的变形，这些变形指导最终的变形。多分辨率方法还允许相似性函数的邻域总是很小，因此便宜，而且还可以覆盖各种大小的整体和局部变形。通常，由于对局部相似性函数最大值的搜索受较粗糙级别的结果指导，因此从粗到精策略可以提高收敛性。因此，就像伯尔(Burr)(1981)的方法一样，迭代，合作和层次结构也得到了利用。
最近，类似于弹性匹配的技术已被用于恢复计算机视觉中的形状和非刚性身体运动并在计算机图形学中制作动画。这些技术与到目前为止讨论的方法的主要区别在于，弹性模型是应用于对象的，而不是图像网格。因此，必须在分析之前进行某种分割，即将图像中的相邻像素分组为有意义的单元，即现实世界的对象。结果不再是注册图像的变形，而是将图像与对象模型匹配的参数。一个例子可以在Terzopoulos等人[1987]中找到。他们提出了一种用于形状和运动的弹性变形的能量约束系统。恢复应用于运动手指的立体图像的时间序列。可变形模型的外力类似于弹性套准中的外力。它们根据图像数据约束匹配。为此，Terzopoulos等人[1987]使用了遮挡轮廓的梯度的投影。但是，内力不再随简单的弹性常数而变化，而是涉及到预期对象形状和运动的更复杂模型。在这种情况下，内力会引起对表面连续性和轴向对称性的偏爱(一种“松散”的广义圆柱体，其使用缠绕在弹性脊柱上的橡胶板)。这种重构的优点是能够以直接的方式集成信息。例如，尽管立体图像对中的遮挡边界对应于平滑对象的不同边界曲线，但是它们可以适当地由不同的外力表示。可以类似地合并高级知识。尽管这些技术对于2D图像的常规配准不是必需的，但是在配准之前对图像进行智能分割可能是匹配图像并暴露它们之间所需差异的最准确方法。
3.5小结
在第3节中，讨论了当前使用的大多数基本注册技术。方法的特征在于其相应转换类的复杂性。转换类别可以由注册错误的来源确定。然后，方法受其在此转换类中的适用性以及它们可以容忍的未校正变体类型的限制。使用互相关和其他逐点相似性统计度量的早期方法仅适用于定义良好的小型仿射变换。傅立叶方法同样受到限制，但在存在频率相关噪声的情况下可能更有效。如果存在局部未校正的变化，则仿射变换的搜索必须更加复杂。在这种情况下，建议使用带反馈的点映射，以便更彻底地调查搜索空间。
如果变换的类型是未知的，但是图像之间的错位变化平稳，即错位比仿射更复杂，但仍然是全局的，则可以使用带有反馈的点映射。如果可以找到控制点的精确匹配，则通过插值进行点映射就足够了。对于局部未校正变化且控制点匹配不准确的情况，则需要近似值。
如果全局转换不足以解决图像之间的未对准问题，则必须使用局部方法。在这种情况下，如果可以执行精确的特征匹配，则可以连续应用分段插值方法。但是，如果存在未校正的局部变化，则通常需要使用其他知识来对转换进行建模，例如使用弹性膜来对可能的图像变形进行建模。
4.注册方法的特征
确定用于图像配准的最佳空间变换的任务可以分为以下主要部分：
-功能空间
-相似度
-搜索空间
-和搜索策略。
可以将每种注册技术视为对这四个组件中每个组件的选择。如前所述，关于配准错误的来源的最佳可用知识确定了所需的转换，即搜索空间。反过来，这决定了方法的复杂性和种类。然后，可以使用其他变体的知识(无法通过转换进行校正)来决定上述其他三个主要组件的最佳选择。表6、7和8给出了每个这些组件的几个示例。此外，这些表格简要描述了每种技术的属性，并提供了参考文献，以更详细地讨论其用法。在以下部分中，将更全面地描述注册的每个组成部分。
表6.图像配准中使用的特征空间
特征空间及其属性
原始强度-大多数信息
边缘—本征结构，对噪声不敏感
边缘[Nack 1977]
等高线[Medioni and Nevatia 1984]
表面[Pelizzari等，1989]
显着特征-本质结构。准确定位
等高线上的局部最大曲率点[Kanal等人1981]
具有局部最大方差的窗口中心[Moravec 1981]
封闭边界区域的重心[Goshtasby 1986]
线相交[Stockman et al.1982]
傅立叶描述符[Kuhl and Giardina 1982]
统计特征-使用所有信息，有利于刚性变换，有关空间散射的假设
不变矩[Goshtasby 1985]
质心/主轴[Rosenfeld and Kak 1982]
较高级别的功能-使用关系和其他较高级别的信息，适用于不精确和本地匹配
结构特征：子模式配置图[Mohr et al.1990]
句法特征：由模式组成的语法[Bunke and Sanfehu 1990]
语义网络：场景区域及其关系[Faugeras and Price 1981]
匹配模型—准确的内部结构，仅一张图像中有噪点
解剖图谱[Dann等，1989]
地理地图[Maitre and Wu 1987]
对象模型[Terzopoulos等，1987]
表7.图像配准中使用的相似性度量
相似度 好处
归一化互相关函数[Rosenfeld and Kak 1982] 对于白噪声准确，但不能容忍局部失真，很难找到相关空间中的尖峰
相关系数[Svedlow et al.1976] 与上述类似，但具有绝对的措施
统计相关和匹配过滤器[Pratt 1978] 如果噪声可以建模
相位相关[De Castro and Morandi 1987] 容忍频率相关的噪声
强度的绝对差之和[Barnea and Silverman 1972] 高效的计算，适合查找无局部失真的匹配项
轮廓的绝对差之和[Barrow et al.1977] 可以使用“倒角”匹配有效地进行计算，对局部失真更鲁棒-不像尖峰那样
轮廓/表面差异[Pelizzari等，1989] 用于结构注册
点状强度差的符号变化次数[Venot et al.1989] 适合不同的图像
高级度量：结构匹配：树和图的距离[Mohr等，1990]， 根据功能或兴趣关系优化匹配
句法匹配：自动机[Bunke and Sanfeliu 1990]
表8.图像配准中使用的搜索策略
搜索策略 优势和参考示例
决策排序 刚性转换相似性优化的效率提高[Barnea 和 Silverman 1972]
松弛 发现局部变形时寻找全局转换的实用方法是利用特征之间的空间关联[Hummel 和 Zucker 1983; 1985年； Ranade 和 Rosenfeld 1980； Shapmo 和 Harahck 1990]
动态程序 当存在匹配的内在顺序时，找到局部变换的效率很高[Guilloux 1986; Maitre和Wu 1987； Milios 1989； Ohta等人1987]
广义霍夫变换 通过将边缘空间映射到“双参数”空间中来进行刚性位移轮廓的形状匹配[Ballard 1981;戴维斯1982年]
线性规划 用于求解线性适度约束的系统，用于在每个点处找到具有多边形误差边界的点匹配的刚性变换[Baird 1984]
分层技术 通过引导搜索逐步精细化，可以改善和加快许多不同的方法[BaJ scy 和 Kovacic 1989; Bieszk 和 Fram 1987；戴维斯1982年; Paar和Kropatsch，1990年]
树和图匹配 利用树/图的属性来最小化搜索，有利于高层结构的不精确和匹配[Gmur 和 Bunke 1990：Sanfeliu 1990]
4.1特征空间
注册两个图像的第一步是确定要用于匹配的特征空间。这可能是原始像素值，即强度，但其他常见特征空间包括：边缘，轮廓，表面；显着特征，例如拐角，直线相交和高曲率点；统计特征，例如不变矩或质心；以及更高层次的结构和句法描述。显着特征是指图像中的特定像素，其中包含指示场景中容易区分的有意义特征的信息。统计特征是指某个区域的度量值(该区域可能是预处理分割步骤的结果)，代表该区域的评估。像几乎所有其他高级图像处理或计算机视觉任务一样，特征空间是图像配准的基本方面。对于图像配准，它会影响
-数据对传感器和场景的哪些属性敏感(通常选择特征以减少传感器噪声或其他失真，例如照明和大气条件，即II类型变化)，
-图像的哪些属性将被匹配(例如，与结构属性相比，对匹配结构更感兴趣，即忽略III类型变体)，
-通过减少相似性度量的成本或另一方面增加必要的预计算来节省计算成本。
关键是，通过选择最佳的特征空间，可以显着改善配准。在预处理步骤中，可以在每个图像上独立找到特征，从而减少了要匹配的数据量。通常可以选择一个特征空间，该特征空间将消除未经校正的变化，否则这些变化会使匹配不可靠。如果存在兴趣变化，则特征空间可以限于不存在这些变化的结构类型。类似地，特征可以突出显示代表经历了预期的未对准的场景元素的图像部分。这通常通过对图像进行预处理以尝试提取固有结构来完成。通过这种方式，我们意味着找到图像中的像素，这些像素准确地代表了世界上重要的物理位置，而不是光照变化，阴影或反射率变化。
提取固有结构可减少场景和传感器噪声的影响，强制进行匹配以优化结构相似性，并减少要匹配的相应数据。可以使用图像增强技术来处理图像以使其更适合特定的应用[Gonzalez和Wintz 1977]，以强调结构信息。典型的增强技术包括对比度增强(可增加强度值的范围)，图像平滑(可消除高频噪声)和图像锐化(可突出边缘)。特别适合配准的增强技术的一个例子是同态滤波。这可用于控制照明效果并增强反射率效果。
边缘，轮廓和边界，因为它们代表了图像的许多固有结构，经常被用作特征空间。在对齐中使用边缘的位置具有快速且对于许多类型的未校正变化不变的优点。但是，边缘点通常无法区分，因此不是用于点匹配的好候选者。通常，使用边缘需要基于区域的相似性度量。
选择突出特征以使其对于未校正的变化是不变的，并且是高度可区分的。沿曲线的主要点经常使用，例如拐角，相交，拐点，高曲率点和沿不连续点的点[Katuri 1991]。还使用了更高级别的形状描述符，例如拓扑，形态和傅立叶描述符，以使其更具唯一性和可区分性[Pavlidis 1978]。在没有形状或曲线的情况下，会在区域中找到有趣的点。这类使用最广泛的度量是Moravec兴趣运算符，它可以找到最大局部方差的点[Moravec 1981]。
统计度量描述可能会或可能不会指定图像中位置的区域特征。一种可能性是假定对象是均匀分布在空间中的粒子的椭球状散射。在这种情况下，可以使用质心和相应的主轴(从它们的协方差矩阵计算)来全局注册它们。另一个流行的选择是使用矩不变式，尽管它们在计算上很昂贵(有时首先使用低阶矩来指导比赛并加快过程[Goshtasby 1985； Mahs and Rezaie 1987])，并且只能用于匹配具有被严格改造。它们是所用要素类的成员之一，因为它们的值与坐标系无关。但是，作为标量，它们没有空间意义。通过最大化两个图像中矩值之间的相似性来完成匹配。 Mitchie和Aggarwal [1983]建议使用形状特定的点(例如质心和半径加权平均值)进行预注册，以简化形状匹配。这些特征更容易计算，具有相似的耐噪声性，但更重要的是，它们在空间上有意义。它们可以用作点映射注册方法中的控制点，而不是相似性优化中的控制点。
当有足够的信息或数据可用时，将套准应用于图集，地图，图形或模型很有用，而不是在两个数据图像之间套准。这样，失真仅出现在一个图像中，并且可以准确地提取出感兴趣的固有结构。
特征空间是将用于注册的数据的表示形式。特征空间的选择决定了要匹配的内容。相似性度量标准确定匹配的评分方式。特征空间和相似性度量一起可以忽略许多与正确配准无关的变化类型(类型II和III)，并针对重要特征优化匹配。但是，虽然在匹配之前在每个图像上预先计算了特征空间，但同时使用两个图像和每个测试来计算相似性度量。
4.2相似度
设计或选择注册方法的第二步是选择相似性度量。此步骤与匹配特征的选择紧密相关，因为它测量了这些特征之间的相似性。特征空间和相似性度量都提取出固有结构，即图像的不变性。典型的相似性度量是有或没有预滤波(例如匹配滤波器或统计相关性)的互相关，绝对差之和(以提高效率)和傅立叶不变性(例如相位相关)。使用曲线和曲面作为特征空间需要一些措施，例如最近点之间的差异平方和。结构或句法方法的措施在很大程度上取决于其性质。例如，Wong和You [1985]使用“随机”图之间的最小熵变化作为相似性标准，用于结构模式识别中的噪声数据。
相似性度量的选择是确定配准变换的最重要元素之一。给定可能的转换的搜索空间，相似性度量可用于查找最终配准转换的参数。对于互相关或绝对差之和，可以在峰值处找到变换。同样，峰值确定点映射方法的最佳控制点匹配。然后，使用一组控制点匹配项来查找适当的变换。但是，在基于弹性模型的方法中，发现变换的相似性最高，并且可以接受可接受的弹性应力。
相似度量(例如特征空间)确定要匹配的内容和不匹配的内容。首先，特征空间从每个图像中提取将用于匹配的信息。然后，相似性度量从两个图像中评估该信息。相似性度量使用的标准确定最佳匹配类型。配准方法忽略未校正变化的能力最终取决于特征空间和相似性度量。如果使用灰度值而不是特征，则可以选择相似性度量以提高噪声容忍度，因为在特征检测过程中并未这样做。针对精确匹配对相关性及其顺序对应项进行了优化，因此，如果存在过多的噪声，则需要进行图像预处理。边缘相关性，即边缘图像的相关性，是一种标准方法。当存在依赖于频率的噪声时，可以在原始图像上使用诸如相位相关之类的傅立叶方法。 Venot等人[1984]提出的另一种可能的相似性度量是基于两个图像逐点相减的符号变化数量。如果图像对齐并且存在噪点，则符号变化的次数就很高，假设任何一点都可能等于或高于零。与经典技术相比，当图像不相似时，这是最有利的。图像中的差异会根据不同位置的灰度值影响经典度量，而符号变化的数量只会因这些差异的空间大小而减少。
如上所述，可以选择特征空间和相似性度量以减少噪声对配准的影响。然而，如果在特征空间中提取了噪声，则这将在匹配之前对每个图像独立地预先计算的单个步骤中执行。必须格外小心，例如当从不同的传感器获取图像时，图像特征在两个图像中都代表相同的结构。另一方面，适当选择特征空间可以大大减少用于后续计算的搜索空间。因为相似性度量同时使用两个图像并针对每个变换进行计算，所以即使两个正确配准的图像之间存在失真，也可以选择相似性度量，以提高匹配的可取性。上述基于符号差的数量的方法是示例。相似性度量的优势在于，两个图像均被使用，并且其度量值相对于其他转换时的度量值。当然，这是通过增加计算成本来支付的，因为必须为每个测试重复进行计算。
最后，使用特征可以减少光度学噪声的影响，但对空间失真的影响很小。相似性度量可以减少两种类型的失真，例如使用基于区域的相关性和其他本地度量。但是，重要的是要认识到，有目的地未被相似性度量识别的空间畸变只能是那些不属于所需变换的部分。例如，当选择相似度度量来查找图像之间的某些差异是令人关注的图像的弹性变换时(例如表2第二类问题中的示例中的那些)，它们应该在结构上找到相似性，而在结构上却没有相似性更多随机的局部差异。
4.3搜索空间和策略
由于与许多匹配特征和相似性度量相关的大量计算成本，因此设计注册方法的最后一步是选择最佳搜索策略。请记住，搜索空间通常是变换的类别，我们希望从中找到用于对齐图像的最佳变换。我们可以对预选特征使用相似性度量来评估每个变换候选。但是，在许多情况下，例如使用相关性作为相似性度量时，重要的是减少要计算的度量数。图像之间未对准的复杂性越大，此要求越严格。例如，如果唯一的未对齐是平移，则在所有可能的班次相关的单个模板就足够了。对于更通用的仿射变换，经典关联方法必须使用许多模板或较大的搜索区域。如果存在局部几何变形，问题将变得更加严重。最后，如果未通过特征空间和相似性度量消除未校正的变化，则由于存在更多的局部最优值和较少的单调空间，因此寻找最优值也将变得更加困难。
在大多数情况下，搜索空间是所有可能转换的空间。常见搜索策略的示例包括分层或多分辨率技术，决策排序，松弛，广义霍夫变换，线性规划，树和图匹配，动态规划和启发式搜索。
搜索空间。每个注册技术所基于的转换类的模型确定搜索空间的特征。该模型包括有关图像中存在的失真和其他变化的假设。例如，如果假定要注册一对图像，则必须执行翻译，则搜索空间是合理距离范围内所有翻译的集合。但是，如果在平移之后假设仍然存在未校正的变化(也许在局部几何体中存在差异，例如在不同时间拍摄的航拍照片中会引起关注)，则遍历搜索空间会变得更加困难，因为确定了相对位置每种翻译的优点都涉及更多。
可以将模型分类为允许全局或局部转换，因为这直接影响搜索空间的大小和复杂性。全局方法通常是搜索使某些相似性度量最大化的允许变换，或者是搜索变换的参数，通常是适合匹配控制点的低阶多项式。通过使用匹配的控制点，可以显着降低搜索成本，同时允许进行更常规的转换。在局部方法中，例如分段插值法或基于弹性模型的方法，模型变得更加复杂，引入了更多的约束，而不仅仅是相似性度量。反过来，它们允许最一般的变换，即具有最大数量的自由度。因此，局部方法具有最大和最复杂的搜索空间，通常需要求解大型方程组。
尽管大多数注册方法都在允许转换的空间中进行搜索，但是当其他信息可用时，其他类型的搜索可能会更有利。当错误配准的来源是透视畸变时，Barrow等人[1977] 和Kiremedjian [1987]搜索传感器模型的参数空间，以将图像映射到三维数据库。对于每组传感器参数，将3D数据库投影到图像上，并测量其相似性。该搜索空间利用了成像过程及其对三维结构的影响的知识。 Mort和Srinath [1988]给出了另一个非常不同的搜索空间的例子。他使用图像中噪声的随机模型来概率地搜索相对于彼此已移位的图像中的最大似然图像配准。
搜索策略。表8给出了一些搜索策略示例以及使用它们的各种问题。可替代地，已经设计了专门的体系结构以加速某些注册方法的性能。Fu和Ichikawa [1982]包含一些计算机体系结构示例，这些体系结构设计用于模式处理中的配准问题。
很难对搜索策略进行分类。每种策略都有其优点和缺点；一些具有有限的域；有些可以与其他同时使用，并且它们内部都有各种各样的变化。在很大程度上，搜索策略的选择取决于搜索空间的特征，包括转换的形式(我们必须满足什么类型的约束？)以及找到最佳选择的难度。例如，如果我们必须满足线性不等式，则建议进行线性编程。如果图像特征由要匹配的树或图组成，则我们需要专门针对这些数据结构的搜索策略。通用霍夫变换是专门为匹配轮廓形状而开发的。需要考虑的一些事情是：策略如何处理丢失的信息；该策略可以并行实施吗？该策略是否做任何假设？典型的计算和存储成本是多少？
在本次讨论中，选择了两种最常用的搜索策略来举例说明注册中使用的策略：松弛和动态编程。这些策略已经以各种不同的方式应用于各种不同的任务。选择它们是为了说明搜索策略的正确选择如何对注册某些类型的图像的能力产生重大影响。在需要全局变换但存在局部失真的情况下，最常使用松弛匹配。如果不存在局部失真，通常可以通过更标准的爬坡或决策定序技术(请参阅第3.1节)来确定最大值，并通过线性方程式或回归以拟合多项式(请参见第3.3.3节)来确定全局变换。另一方面，动态编程用于在需要局部转换的位置注册图像。对于动态编程，利用问题的排序属性来减少搜索计算。用于局部方法的其他搜索策略在很大程度上取决于所使用的特定模型，例如使用迭代方法离散地求解一组偏微分方程[Bajscy和Kovacic 1989]，用于求解带多边形点误差的点匹配的线性规划[Baird 1984]，用于形状匹配的广义Hough变换[Ballard 1981]。
松弛匹配。松弛是从类似于它的迭代数值方法中得名的。这是一种自下而上的搜索策略，涉及(相似)本地评分，该评分取决于其邻居的评分。这些等级将迭代更新，直到等级收敛或找到足够好的匹配为止。它通常用于注册中，以找到针对刚性转换的相似性准则的全局最大值。 2
2相关技术称为松弛标记，是指在将标签始终分配给场景中的对象的问题中使用松弛。
几位研究者已经研究了松弛匹配作为注册的搜索策略的用途[Hummel and Zucker 1983; Ranade and Rosenfeld 1980]。该方法的优点在于其能够承受局部几何变形。这是通过使用局部相似性度量来完成的。局部相似性度量用于为每个位置分配启发式，模糊或概率等级。然后，根据相邻度量的等级，可能会并行地迭代地增强或削弱这些等级。尽管这种方法的收敛性和复杂性并不总是很好地定义，但实际上，它通常是较严格的技术(例如线性编程)的捷径。
Price [1985]比较了松弛匹配技术，以匹配两个场景之间的对应区域。与点匹配相反，放松是场景匹配中的一种首选技术，因为需要容忍局部失真。在他们的研究中，对象及其之间的关系在语义网络中被象征性地表示为特征值和链接。执行自动分割以找到均质的区域，从中均匀地选择一些语义相关的对象。仅对象的特征值不足以正确匹配对象。他们需要上下文信息，该信息由松弛过程逐渐确定。基于优化标准来迭代地更新速率分配(或概率)，该优化标准评估当前分配与其在图中的邻居分配(即通过关系链接的对象)的兼容性。将四种松弛技术与不同的优化标准和更新方案进行了比较。使用相同的通用匹配系统，即，相同的特征空间和局部相似性度量。复杂性和收敛性是根据经验在几个航拍图像上测量的。
Price(1985)的研究代表了比较注册问题搜索策略的研究。这里没有将放宽与其他策略进行比较，也没有明确选择放宽此问题。在航空照片上对它进行了经验比较，因此其结果不一定要一概而论。他们的主要贡献之一是他们对这四种方法的相对优点的描述。尽管这对于将来将松弛应用于类似问题当然会很有用，但对于给定问题是否应应用松弛或其他搜索策略的较大问题仍未得到解答。
动态编程。用于图像配准的另一种常用搜索策略是动态编程(DP)。 DP是一种通过有效使用子问题的解决方案来解决问题的算法方法。通过使用最佳解决方案来解决子问题，可以逐步解决更大的问题，从而避免了多余的计算并修剪了搜索。仅当存在数据/问题的固有排序时，才可以应用此策略。已应用的一些示例包括：签名验证[Parizeau和Plamondon 1990]，地理轮廓与地图的配准[Maitre 和 Yu 1987]，形状匹配[Milios 1989]，立体映射[Ohta等人1987]，和水平运动跟踪[Guilloux 1986]。注意，在每个这些示例中，数据都可以线性顺序表示。在形状匹配示例中，这是针对每种形状使用轮廓的凸凹段的循环序列完成的。在立体映射中，校正了两个图像，以使它们的扫描线与基线平行(连接到两个视点的线)。然后，扫描线变为对极线，因此一个图像上扫描线中所有点的所有相应匹配都位于另一图像的相应扫描线上。类似地，在水平运动跟踪中，扫描线是要匹配的有序数据集。在这些实例的每一个中，使用动态编程来找到两个图像中的点之间的对应关系，即，形状匹配示例中的片段与立体或运动示例中的特征点。
还要注意，在这些问题中要进行的匹配是多对多的。该问题通常是由于寻找最佳(最低成本)路径而提出的，该路径使一个图像沿顺序(扫描线或轮廓等)的每个点与另一图像沿顺序的点相匹配。因此，所得到的搜索空间非常大，确切地说是指数级的。 DP将其减少为O(n3)，其中n是最长排序的长度。实际上，通过将匹配限制为反映图像之间最大的预期视差的间隔大小来降低成本。该算法的成本也与相似性度量的成本成比例，该相似性度量是递归最小化的基本成本运算。典型的度量包括像素强度之间的绝对差异或其一阶统计量。相似性度量通常具有取决于应用程序的其他因素，以优化其他特征，例如最小路径长度，最小视差大小和间隔均匀性。作为一种搜索策略，DP提供了一种高效的方案来匹配图像，这些图像的失真是非线性的，包括嘈杂的特征和丢失的匹配项(例如遮挡)，但是可能受到排序的限制。
4.4小结
该调查提出了现有注册技术的分类法，并提供了一个框架来帮助选择针对特定问题的适当技术。在设计或选择用于特定应用的方法时，应尽可能多地使用要记录的图像中出现的失真原因的知识。导致重合失调的失真可用于确定转换类别，以最佳地将图像相互映射。转换的类别及其复杂性决定了要使用的方法的一般类型。给定转化的类别。即，搜索空间，通过此转换仍未校正的变化类型可用于进一步指定最合适的方法。
可以通过与互相关有关的傅立叶方法和技术找到仿射变换。如果存在局部未校正的变化，则使用带反馈的点映射。多项式变换通常是使用插值法或近似法通过点映射技术确定的。当可以准确找到匹配的控制点时，可以采用分段插值技术来确定局部变换，也可以利用基于模型的方法来了解可能的失真，从而确定局部变换。通过从可用于注册的方法类型中选择特定的特征空间，相似性度量，搜索空间和搜索策略来完全指定该技术。对于特征空间，相似性度量和配准方法的搜索策略的选择取决于未校正的变化(空间和体积)，这些变化会掩盖真实的配准。
当存在复杂的变形时，选择特征空间而不是匹配原始强度会是有利的。通常，特征空间尝试提取图像中的固有结构。对于较小的计算成本，极大地减少了搜索空间，并删除了不相关的信息。
相似性度量标准定义针对每个可能的匹配进行的测试。对于白噪声，互相关很强。对于由于照明或传感器变化而引起的与频率相关的噪声，基于傅立叶变换不变属性的相似性度量是不错的选择。如果使用了特征，则可以使用有效的相似性度量来度量每个图像中特征位置之间的空间差异。其他措施专门用于匹配高级结构，例如图形或语法。
搜索空间和策略还利用了有关失真源的可用知识。关于成像系统和场景属性的假设可用于确定一组可能的或最可能的变换，以指导搜索最佳变换。
当存在局部变化时，最困难的配准问题就会发生。即使已知全局变换足以对齐两个图像，也会发生这种情况。特征检测，相似性度量和计算最佳变换之间的反馈可用于克服许多这些问题。当存在局部失真时，通过使用全局信息，可以使用迭代，协作和层次结构来改善和加快注册，而无需与全局图像操作相关的计算和存储成本。在为给定应用程序设计或选择技术时，应仔细考虑全局和局部配准转换和方法，全局和局部失真以及全局和局部计算之间的区别。
多年来，执行注册的技术已变得越来越自动化，高效和强大。当前的研究努力已经开始解决更困难的问题，在这些问题中，存在局部校正(无论校正与否)。对这些技术进行分类的需求已经出现，以便可以适当地应用这些方法，可以更快地评估其功能，并且可以进行技术之间的比较。本文提供了基于图像变化类型的分类法。校正和未校正，空间和体积以及局部和全局变化之间的区别已用于开发注册方法及其四个组成部分的框架：特征空间，相似性度量，搜索空间和搜索策略。该框架在将来的注册评估，开发和实践中应该很有用。
致谢
我要感谢我的顾问T. Boult所做的许多宝贵的决策。这项工作部分得到DARPA合同NOO039-84-C0165的支持，部分得到NSF PYI授予IRI-90-57951的支持，并得到了西门子和AT＆T的额外支持。
参考文献
ALLINEY, S., ANIJ MORANDI, C. 1986.Di~tal image IEEE Trans. Pattern Anal. lla~u;e ~ntell. PAMI-8, 2 (Mar.), 222-233.
BA,JSCY, R., AND BROIT, C. 1982 Matching of deformed images. In The 6th International Conference on Pattern Recognition. pp. 351-353.
BAJSCY, R., AND KOVACXC, S. 1989. Multiresolution elastic matching. Comput, VM~on Graph. Image Process. 46, 1–21.
BAIRD, H. S. 1984, Model-based image matching using location. In An ACM Dzstz nguzshed Dissertatton. MIT Press, Cambridge, Mass.
BALLARD, D. H. 1981. Generahzing the Hough Transform to detect arbitrary shapes. Pm%. Recog. 1.3, 2, 111-122.
BARiWRD, S. T., AND FISCHLER, M. A. 1982. Computational stereo. ACM Comput. Suru. 14, 4 (Dec.), 553-572.
BARNEA, D. I., AND SILVERMAN, H. F. 1972. A class of algorithms for fast digital registration. IEEE Trans. Comput. C-21, 179-186.
BARROW, H. G., TENENBAUM, J. M., BOLLES, R. C., AND WOLF, H. C. 1977. Parametric correspondence and chamfer matching Two new techmques for image matching. In Proceedings of the International Joznt Conference [n Art@clal Intelligence. pp. 659-663,
BERGSTROM, M., “ETHIUS, B. J., ERnW,SON, L., GREITZ, T., RIBBE, T., AND WID’EN, L. 1981. Head fixation device for reproducible position alignment in transmission CT and positron emission tomography. J. Comput. Assisted Tomogr. 5, (Feb.), 136-141.
BERNSTEIN, R. 1976. Digital image processing of Earth observation sensor data. IBM J. Res. Devel. 20, (Jan.), 40-67.
BERNSTEIN, R., AND SILVERMAN, H. 1971. Digital techniques for Earth resource image data processing. In Proceedings of the American Institute of Aeronautics and Astronauts 8th Annual Meett ng, vol. 21. AIAA.
BIESZK, J. A., AND FRAM, I. 1987. Automatic elastic image registration. In Proceedings of Computers zn Cardiology ( Leuvenj Belgium, Sept.). pp. 3-5.
BOHM, C., AND GRMTZ, T. 1989. The construction of a functional brain atlas—Elimination of bias from anatomical variations at PET by reformmg 3-D data mto a standardized anatomy. In Visuallzatlon of Brazn Functzons, D. Ottoson and W R.m6ene, Eds Wenner Gren International Symposium Series, vol. 53. pp. 137-140.
BOHM, C., GREITZ, T., KINGSL~Y, D., B~RGGREN, B. M., AND OLSSON, L. 1983. Adjustable computerized
stereotaxic brain atlas for transmission and emission tomography. Amer. J. Neuroradiol. 4, (Mar.), 73-733.
BRESLER, Y., AND MERHAV, S. J. 1987. Recursive image registration with apphcation to motion estimation. IEEE Trans. Acoust. Speech Signal Proc. ASSP-35, 1(Jan.), 70–85,
BROIT, C. 1981. OptimaL registrations of deformed images Ph D. Disse~ tation, Univ. of Pennsylvania.
BUNKE, H., AND SANFELNJ, A., EDS. 1990. SQyntactzc and Structural Pattern Recognztzon, Theory and Applzcatzons. World Scientific, Teaneck, N.J.
BURR, D. J. 1981. A d,ynamic model for Image registration. Compzd. Graph zcs Image Proc. 15, 102-112.
CLOUGH, R. W., AND TOC’HER, J. L. 1965. Finite element stiffness matrices for analysis of plates in bending. In Proceedl ngs of the Conference on Matrzx Methods Ln Structural Mec?lanzcs (Wright-Patterson A. F. B., Ohio). pp. 515-545.
DANN, R., HOFORn, J., KOVACIC, S., RENUCH, M., AND BAJCSY, R. 1989. Evaluation of elastic matching system for anata,mic (CT, MR) and functional (PET) cerebral images, J Cornput. Asszsted Tomogr. 13, (,July/Aug.), 603–611.
DAVIS, L. S. 1982. Hierarchical Generalized Hough Transform and line segment based Generalized Hough Transforms, Patt, Recog. 15, 277-285.
DE CASTRO, E., AND MORkNDI, C. 1987. Registration of translated and rotated images using finite Fourier Transforms, IEEE Trans. Patt. Anal. Maclune Intell. PAMI-9, 5 (Sept.), 700-703.
DEGUCHI, K., 1986. Registration techniques for partially covered image sequence. In Proceedzngs of the 8th In tern fi,tzonal Conference on Pattern Recognition (Paris, Ott ). IEEE, New York, pp. 1186–1189.
DENGLER, J. 1986. Local motion estimation with the dynamic pyramid, In The 8th Int.rnatzonal Conference on Pattern Recognztzon (Paris). pp. 1289-1292.
DHOND, U. R., AND AGGA~.WAL, J. K. 1989. Structure from stereo—A rewew. IEEE Trans. Syst. Man Cybernetics 19, C (Nov./Dee.), 1489-1510.
DUDA, R. O., AND HART, P. E. 1973. Pattern Classification and Scene Analys,s. John Wiley& Sons, New York.
EVANS, A. C., BEIL, C , MARRETT, S., THOMPSON, C. J., AND HAKJM, A. 1988. Anatomical-functional correlation using an adjustable MRIbased region of interest atlas with positron emission tomography, J. Cerebral Blood Flow Metabol. 8, 513–530.
FAUGERAS, O., AND PRICE, K. 1981. Semantic demriptlon of aerual mnages using stochastx labeling. IEEE Trans. Patt. Anal. Machine Zntell. PAMI-3, (Nov.), 638–642.
FLUSSER, J. 1992. An adaptive method for image registration. Pa tt. Rerog. 25, 1,45–54.
FORSYTHE, G. E., MALCOLM, M. A.. AND MOLER, C. B. 1977. Computer Methods for Mathematical Computations. Prentice-Hall, Englewood Cliffs, N.J.
Fox, P. T., PERLMUTTER, J. S., AND RAICHLE, M. E 1985. Stereotactic method of anatomical localization for pos]tron emissnon tomography. J. C’omput. As.wsted Tomogr. 9, 141-153.
FRANKE, R. 1979. A crltlcal comparison of some methods for interpolation of scattered data. Tech. Rep. NPS-53-79-O03, Naval Postgraduate School.
Fu, K. S., AND ICKIKAWA, T. 1982 Special t20mputer Architectures for Pattern Processing. CRC Press, Boca Raton, Fla.
GERLOT, P., AND BIZAIS, Y. 1987. Image re~stra- , tlon: A review and a strategy for medical applications. In Proceedz ngs of the 10th International Conference on Information Processing in Medical Imaging (Utretcht, Netherlands). pp. 81-89.
GMUR, E., AND BUNKE, H. 1990. 3-D object recognition based on subgraph matchmg m polynomial time. In Structural Pattern Analysw. World Sclentlfic, Teaneck, N.J.
GONZALEZ, R. C., AND WINTZ, P. 1977. Digital Image Processing. Addison-Wesley, Reading, Mass.
GOSHTASBY, A. 1988. Image registration by local approximation. Image Vzszon Comput. 6, 4 (Nov.), 255-261.
GOSHTASBY, A. 1987. Piecewise cubic mapping functions for image registration. Patt. Recog. 20>5, 525–533.
GOSHTASBY, A 1986. PieceWise hnear mapping functions for image registration. Patt. Recog. 19, 6, 459-466
GOSHTASBY. A. 1985. Template matchmg m rotated Images. IEEE Trans. Patt. Anal. Machine Zntell. 7, 3 (May), 338–344.
GOSHTASBY, A., AND STOCKMAN, G. C. 1985. Point pattern matching using convex hull edges. IEEE Trans. Syst Man Cybernetics SMC-15, 5 (Sept./Ott.), 631-637.
GOSHTASBY, A.. STOCKMAN. G. C., AND PAGE, C. V. 1986. A re~on-based approach to digital Im age regmtration with subpixel accuracy. IEEE Trans. Geoscz. Remote Sensing 24, 3, 390-399
G~TILLOUY, Y I.P 1986 A matching algorithm for horizontal motion, apphcatlon to tracking. In Proceedings of the 8th Internat~onal IEEE Conference on pattern Recogn2tlon (Paris, Oct.). IEEE, New York, pp. 1190-1192.
HALL, E. L. 1979 Computer Image Processing and Recogrutzon. Academic Press, New York.
HARALICK, R. M. 1979. Automatic remote sensor Image registration. In TopLcs m App[zed Physics, Vol. 11, Dlgltal Pzcture Analysls, A. Rosenfeld, Ed. Springer-Verlag, New York, pp. 5-63
HERBIN, M., VEIJOT, A., DEVAm, J. Y., WALTER, E., LEBRUCHEC, J. F., DUBERTRET, L., AND ROUCA~- ROL, J. C. 1989. Automated registration of dissimilar Images: Application to medical imagery. Comput. Viszon Graph Image Process. 47, 77-88
HORN, B. K. P. 1989. Robot Vwon. MIT Press, Cambridge, Mass.
HUMMEL, R., AND ZUCKER, S 1983. On the foundations of relaxation labehng processes. IEEE Trans. Patt. Anal. Machzne Intell. 5, (May), 267-287.
JENSEN, J. R. 1986. Introductory Dzgztal Image Processing, A Remote Senszng Perspective. Prentice-Hall, Englewood Cliffs, N J
KANAL, L. N., LAMBIRD, B. A., LAVINE, D.. AND STOCKMAN, G. C. 1981. Di~tal regstratlon of images from simdar and dlsslmdar sensors. In Proceedings of the Intern atzona! Conference on Cybernetics and Soczety. pp. 347-351.
KATURI, R., AND JAIN, R. C 1991. Computer Vzszon: Prmczples. IEEE Computer Society Press, Los Alamitos, Calif.
KIREMIDJIAN, G. 1987. Issues m Image registration. In IEEE Proceedings of SPIE: Image Understanding and the Man-Machine Interface, vol. 758. IEEE, New York, pp 80–87
KUGLIN, C. D., AND HINES, D. C. 1975. The phase correlation image ahgnment method. In Proceedings of the IEEE 1975 International Conference on Cybernet~cs and Soczety (Sept.). IEEE, New York, pp. 163-165.
KUHL, F. P , AND GIARDINA, C. R 1982. Elhptlc Fourier features of a closed contour. Comput. Graph. Image Process. 18, 236-258.
LEE, D. J., KRILE, T. F., AND MITRA, S. 1987. D@tal registration techniques for sequential Fundus images. In IEEE Proceedings of SPIE: Apphcattons of Dzgital Image Processing X, vol 829. IEEE, New York, pp. 293-300.
MAGHSOODI, R., AND REZAIE, B. 1987. Image regxtratlon using a fast adaptme algorithm. In IEEE Proceed~ngs of SPIE: Methods of Handling and Processing Imagery, vol. 757. IEEE, New York, pp. 58-63.
MAGUIR~, G Q , JR., Noz, M E., LEE, E M , AND SHIMPF, J. H. 1985. Correlation methods for tomographic Images using two and three dimensional techmques. In Proceedings of the 9th Conference of Information Processing m Medical Imaging (Washington, D. C., June 10-14). pp 266-279
MAGUIRE, G. Q., JR., Noz, M. E., AND RUSINEK, H. 1990. Software tools to standardize and automate the correlation of images with and between diagnostic modahties. IEEE Comput. Graph. Appl.
MAITRE, H,, AND Wu, Y. 1987. Improving dynamic programming to solve Image regmtratlon. Patt. Recog. 20, 4, 443–462.
MEIXONI, G., AND NEVATIA, R. 1984. Matching images using linear features. IEEE Trans. Patt. Anal. Machine Intell. PAMI-6, 675-685.
MERICKEL, M. 1988. 3D reconstruction: The registration problem. Comput. VisLon Graph. Image Process. 42, 2, 206–219.
MILIOS, E. E. 1989. Shape matching using curvature processes. Comput. Vision Graph. Image Process. 47, 203-226.
MITICHE, A,, AND AGGARWAL, J. K. 1983. Contour registration by shape-specific points for shape matching. Comput. VLston Graph. Image Process. 22, 296–408.
MOHR, R., PAVLIDIS, T., AND SANFELIU, A. 1990. Structural Pattern Analysis. World Scientific, Teaneck, N.J.
MORAVEC, H. 1981. Rover visual obstacle avoidance. In Proceedings of the 7th International Conference on Art@iclal Intelligence (Vancouver, B. C., Canada, Aug.). pp. 785–790.
MORT, M. S., AND SRINATH, M. D. 1988. Maximum likelihood image registration with subpixel accuracy. In IEEE Proceedings of SPIE: Applications of Digital Image Processing, vol. 974. IEEE, New York, pp. 38-43.
NACK, M. L. 1977. Rectification and registration of digital images and the effect of cloud detection. In Proceedings of Machine Processing of Remotely Sensed Data. pp. 12–23.
NAHMIAS, C., AND GARNETT, E. S. 1986. Correlation between CT, NMR and PT findings in the brain. NATO ASI SerLes. Vol. F19. PLctorzal Information Systems m Medzcme, K. H. Hohne, Ed. Springer-Verlag, Berlin, pp. 507-514.
Noz, M. E., AND MACWIRE, G. Q., JR. 1988. QSH: A minimal but highly portable image display and processing Toolkit. Comput, Methods Program. Biomed. 27, 11 (Nov. 1988), 229-240.
OHTA, Y., TAKANO, K., AND IKEDA, K, 1987. A highspeed stereo matching system based on dynamic programming. In Proceedings of the International Conference in Computer Vwon (London, England). pp. 335-342.
PAAR, G., AND KROPATSCH, W. G. 1990. Hierarchical cooperation between numerical and symbolic image representations. In StrzLctural Pattern Ana[ysLs. World Scientific, Teaneck, N.J.
PARIZEAL~, M., AND PLAMONDON, R. 1990. A comparative analysis of regional correlation, dynamic time warping, and skeletal tree matching for signature verification. IEEE Trans. Patt. Anal. MachLne Intell. 12, 7 (July), 710-717.
PAVLIDIS, T. 1978. Survey: A review of algorithms for shape analysis. Comput. Graph. I??Lage Process. 7, 243–258.
PRATT, W. K. 1978. Digital Image Processing. John Wiley & Sons, New York.
PELI, E. ET AL. 1987. Feature-based registration of retinal images. IEEE Trans. Med. ImagLng MI-6, 3 (Sept.), 272-278.
PELIZARRI, C. A., CHEN, G. T. Y., SPELBRING, D. R., WEICHSELBAUM, R. R, AND CHEN, C. T. 1989. Accurate three-dimensional registration of CT, PET and/or MR images of the brain. J. Compat. AssLsted Tomogr. 13, (Jan. /Feb.), 20-26.
PRICE, K. E. 1985. Re Laxation matching techniques—A comparison. IEEE Trans. Patt. Anal. MachLne Intel/. 7, 5 (Sept.), 617-623.
RANADE, S., AND ROSENFELD, A. 1980. Point pattern matching by relaxation, Patt, Recog. 12, 269-275.
RATIB, O., BIDAUT, L., SCHELBERT, H. R., ANL) PHEIPS, M. E. 1988. A new technique for elastic registration of tomograph]lc images. In IEEE Proceedings of SPIE: Medical Imaging II, vol. 914. IEEE, New York, pp. 452-455.
ROSENFELD, A., AND Km, A. C. 1982. Dzgltal PLCture Processing. Vol. 1 and II. Academic Press, Orlando, Fla.
SANFELIU, A. 1990. Matching complex structures: The cyclic-tree representation scheme. In Structural Pattern Analysts. World Scientific, Teaneck, N.J.
SHAPIRO, L. G., AND HARALICK, R. M. 1990. Matching relational structures using discrete relaxation. In S.yntactLc and Structural Pattern ReCOgnLtLOn, Theory and ApphcatLons. World Scientific, Teaneck, N.J.
SINGH, M., FREI, W., SHIB \TA, T., HUTH, G. C., AND TELFER, N. E. 1979. A digital technique for accurate change detection in nuclear medical images—With application to myocardial perfusion studies using Thallium-201. IEEE Trans. Nuclear SCL. NS-26, 1 (Feb.).
SLMVE+ C. C., ED. 1980. ManLLal of Photogrammetry, 4th ed. American Society of Photogrammetry, Falls Churchj Va.
SOLINA, F., AND BAJCSY, R. 1990. Recovery of parametric models from range images: The case for superquadrics with global deformations. IEEE Trans. Patt. Anal. Machine Intell. 12.2 (Feb.), 131-147.
STOCKMAN, G. C.j KOPSTKIN, S., AND B~NET’I’, S. 1982. Matching Images to models for registration and object detection via clustering. IEEE Trans. Patt. Anal. Machine Intell. 4, 229–241.
STYTZ, M. R., FRIEDER, G, AND FRI~DER, O. 1991. Three-dimensional medical imagmg: Algorithms and computer systems. ACM Comput. Suru. 23, 4 (Dec.), 421 –424.
SUETENS, P., FUA, P., HANSON, A. J. 1992. Computational strategies for object recognition. ACM Comput. Suru. 24, 1(Mar.), 5-62.
SVEDLOW, M., MCGILLEM, C. D., AND ANUTA, P. E. 1976. Experimental examination of slmdarity measures and preprocessing methods used for image registration. In The S.ymposLu m on Machine Processing of Remotely Sensed Data (Westville, Ind., June). pp. 4A-9.
TERZOPOULOS, D., WITKIN, A., AND KASS, M. 1987. Energy constraints on deformable models: Recovering shape and non-rigid motion. In Proceedzngs AAAI 87 (July), vol. 2. Park, Cahf., pp. 755-760.
THOMAS, I. L., BENNING, V, M,, AND AAAI, Menlo CHING, N. P.1986. ClassLficatlon of Remotel} Sensed Images. Adam Hdger, Bristol, England,
TON, J., AND JAIN, A. K. 1989, Re~stermg Landsat Images by point matchmg IEEE Trans, Geoscl, Remote Senszng 27, (Sept.), 642-651.
VAN I)EN ELSEN, P A., POL, E.-I. D., AND VIER~EVER, M. A, 1992 Medical image matching—A review with classification. IEEE Eng. Med. BLO1 , in press.
VAN WIE, P , AND STEIN, M. 1977 A LANDSAT digital image rectification system. IEEE Ti-ans GeoscL. Electr. GE-15, 3 (July), 130-137
VENOT, A., LEBRCTrHEC, J. F., AND ROUCAYROL, J C 1984 A new class of similarity measures for Received August 1991, final revision accepted March robust Image regmtration. CompzJt. VLstorz Graph. Image Process, 28, 176-184.
WIDROW, B. 1973. The rubber mask techmquej Part I and II Patt Recog. 5, 3, 175-211
WOLBERG, G. 1990 Dzgztal Image Warptng IEEE Computer Society Press, Los Alam,tos, Calif
WOLBERG, G., AND BOULT, T. 1989, Separable image warping with spatial lookup tables. In ACM SIGGRAPH ’89 (Boston, July/Aug.), ACM, New York, pp. 369-377
WoNG, A K C , AND You, M 1985. Entropy and distance of random graphs with appbcatlon to structural pattern recogmtlon IEEE Trans. Putt Anal. Machzne Intell. PAM1-7, 5 (Sept.), 599-609
WONG, R Y. 1977, Sensor transformations. IEEE Trans. Syst. Man Cybernetzes SMC-7, 12 (Dec.), 836-840