图像拼接算法简介

图像拼接方法简介

1. 图像拼接的主要流程

   图像拼接的三个关键技术点：预处理、图像配准、图像融合

   i). 图像预处理
   包括数字图像处理的基本操作（如去噪，边缘提取，直方图处理等）、建立图像的匹配模板以及对图像进行某种变换（傅里叶变换、小波变换等）；
   ii). 图像配准
   采用一定的匹配策略，找出待拼接图像中的模板或特征点在参考图像中对应的位置，进而确定两幅图像之间的变换关系；
   iii). 建立变换模型
   根据模板或者图像特征之间的对应关系，计算出数学模型中的各参数值，从而建立两幅图像的数学变换模型；
   iv). 统一坐标变换
   根据建立的数学转换模型，将待拼接图形转换到参考图像的坐标系中，完成统一坐标变换；
   v). 融合重构
   将待拼接图像的重合区域进行融合，得到皮杰冲欧冠的平滑无缝全景图像；

   图像拼接算法中利用频率域和空间域进行拼接的比较多。 频率域方法一般是利用 Fourier的相位相关，可以计算出频移、旋转，缩放等相关信息，由此进行图像的拼接，但这种方法只能精确到像素级；空间域方法又可以分为
   基于区域和基于特征的图像拼接算法。 其中基于特征的方法特征匹配精确度比较高，而且它对于图像的变形、亮度
   变化和噪声都具有较好的适应能力，是图像拼接常用的一种方法。

2. 预处理

   由于硬件设计本身缺陷，很多不同的噪声使得捕获的图像达不到图像质量的要求，因此需要对原始图像进行去噪、修正等图像预处理工作，图像的预处理阶段的精度对最后拼接图像质量有着很大的影响，预处理的主要目的是增强图像的细节信息，抑制噪声，改善图像质量。
   常见的预处理方法包括以下几种：

   i). 图像平滑与边缘锐化处理
   由于图像的拍摄视角不同、折叠变换不同以及存在随机噪声，使得具有重叠区域的图像序列在重叠部分的细节上并不完全相同，因此只能选取轮廓或其他主要边缘做特征匹配的垂直边缘。
   ii). 相位相关算法
   如果图像存在平移，那么可以将平移转化到频域，并且计算相位差。在平移运动坐标上的脉冲就是这个相位差的傅里叶反变换，在对其两幅图像的位移位置后，两幅图像的对其点可以通过搜索最大值的位置得到。
   iii). 灰度图投影算法
   如果垂直方向上的平移可以忽略,而且水平方向上平移较小的时候,可以使用灰度图投影算法对相邻的两幅图像进行粗略定位 以便在进行精确配准时,减小误差,缩小搜索范围。首先, 将一个彩色图像转换为灰度，然后将其转换为二进制图像的灰度图像, 计算所有像素的灰度值, 然后投影到垂直方向，预计到积累，通过比较相邻的曲线大致可以匹配的位置图像的投影。
   iv). 视频序列子集的筛选
   进行基于视频的图像拼接时, 需要首先对视频序列图像进行筛选。由于视频序列图像有很充裕的重叠信息可以利用,因为它们相互之间的位移量很小。因此, 为了既可以降低配准误差和拼接图像的不连续性, 又能减小计算量, 可以只选取它的一个子集, 而不使用全部的视频序列图像。
   v). 基于模版匹配的算法
   基于模板匹配的过程是将一幅图像中位于重叠区域的一块作为模板，在另一幅图像中搜索和模板具有相同或相似值的对应块,这样就可以确定两幅图像的重叠范围。通常情况下，如果模板面积越大，这种算法的精度就越高,但是其计算复杂度也会很高。

3. 图像配准

   图像配准是将不同传感器在不同时间、不同方位、不同条件（气候、亮度等）下获得的同一场景的两幅或多幅图像进行匹配、对其的过程。

   i). 图像拼接的关键是精确找出相邻两张图像中重叠部分的位置，然后确定两张图像的变换关系，即图像配准；
   ii). 图像配准的计算量一般非常大，因此图像拼接技术的发展很大程度上取决与图像配准技术的创新；
   iii). 由于视角、拍摄时间、分辨率、光照强度、传感器类型等差异，待拼接的图像往往存在平移、旋转、尺度变化、透视形变、色差、扭曲，运动目标遮挡等差别，配准的目的就是找出一种能描述待拼接图像之间映射关系的变换模型。目前常用的空间变换模型有：平移变换、刚性变换、仿射变换、投影变换等。
   iv). 空间变换模型简介

    	刚性变换： 变换前后，任意两点间距离不变。包括平移、旋转、反射；
    	相似变换： 变换前后，目标形状不变。与刚性变换相比，增加了等比缩放；
    	仿射变换： 仿射变换最大的特点就是： “保点”、“保线”、“保面”。 意思是变换前后，点的顺序不变，平行线依然保持平行。相比相似变换，主要增加了两种：非等比缩放，切变；
    	投影变换： 区分2D与3D图像的投影变换，从某一点进行投影变换；
   

   v). 基于刚性变换模型图像配准算法（平移、旋转、尺度缩放），分为两类，基于特征的图像配准，基于区域的特征配准；基于特征的图像配准方法对于特征明显的图像比较适用，但是对于多光谱图像的配准效果往往并不理想；基于对数极坐标傅里叶变换的方法能够有限解决平移，旋转和尺度缩放问题，对图像的尺寸和重合度要求较高；基于SIFT的图像配准方法，性能优秀但是算法复杂度较高。
   vi). 图像配准的过程主要包括一下几个步骤：

    (a) 选择特征空间。可以根据待配准图像的各种不同特征来说实现匹配，主要包括图像本身的亮度、图像的边缘、
    	曲线、角点、直线交点、高曲率点、图像的不变矩、重心等。
    (b) 选择相似性测度。配准中最终要的步骤是相似性测度的选择，相似性测度的结果决定了两幅图像是否匹配，而且据定了如何确定匹配位置。
    (c) 选择搜索空间与策略。搜索空间的目的是找到图像配准的最佳位置的集合。 在很多情况下,减少测量的数量是很重要的,因为误匹配位置越多,计算量就越大，问题就越严重。在有些情况下，可以利用一些已知信息去掉不可能匹配的搜索子空间，从而达到减少计算量的目的。 为了减少计算量,匹配时还需要选择合适的搜索策略。
   

   （1）. 基于特征的图像配准

   该类方法的有点是对亮度、噪声不敏感，能够处理图像间存在比较大的未对准情况，目前普遍采用该方法。

   . 控制点配准算法
   在待配准的图像中选取一些特征点，对准了这些特征点，两幅图像也就配准了。但控制点法往往要借助人工选取初始匹配点，大大降低了算法的速度和适用范围，需要借助数学方法实现控制点的自动选取。

   . 自动角点检测配准算法
   检测图像中的角点，然后对两幅图像的角点按照一定的配准原则进行配准，最后剔除误匹配对，得到正确的配准结果。角点没有明确的数学定义，一般认为角点是二维图像亮度变化剧烈的点或图像边缘曲线上曲率极大值的点。这些点在保留图像图形重要特征的同时，可以有效减少信息的数据量，使其信息的含量很高，有效的提高了计算的速度和配准的可靠性，使得实时处理成为可能。

   . 基于轮廓特征的配准算法
   首先对图像进行直方图均衡和去噪处理，再对图像进行轮廓提取，然后对提取的轮廓进行配准，进而确定重叠区域。轮廓的的匹配准则可以选取链码相关或其它一些相似性准则（如主轴和不变距等）。该方法适用于光照不一致，存在尺度关系及旋转的图像。该方法血药提取出明显的轮廓特征，对于数据的缺失比较敏感，要求两幅图像的对应轮廓比较完整，对于轮廓不明显或噪声干扰较大的图像不适用。

   . 基于SIFT（尺度不变特征变换）的配准算法。（1999年剔除，2004年完善）
   该算法利用图像关键点的SIFT特征向量匹配，具有尺度缩放、旋转、视角、仿射、光照不变性，对目标的运动，噪声等因素也能保持较好的匹配性。适合应用在全景图像的拼接，是目前特征点配准领域的热点；

   . 基于特征的配准方法通过提取图像中明显的块、线和点作为特征来估算图像间的变换矩阵。该方法下的图像配准的一般步骤为：(a)提取待配准的图像的特征；(b)图像特征匹配;©通过匹配的特征估算得出图像间的变换矩阵(d)利用变换矩阵将图像对齐。

   . 特征检测。特征检测是图像配准的基础，应根据待拼接图像的场景特性来选择不同的特征检测方法。常用的边缘检测方法有 Ｒoberts 算 子、Sobel 算子、Prewitt 算子、 Canny 算子等，最常用的角点检测方法是Harris 角点检测算法。
   . 特征匹配。特征匹配是影响图像配准精度的关键步骤，好的匹配算法使同一场景的不同图像的特征一一匹配，能有效地避免误匹配。

   （2） 基于区域的图像配准

   基于区域的配准方法，是利用图像像素间相关性强度大小进行对齐。首先，在一个图像中选择兴趣点，然后在另一个图像中利用互相关搜索对应的像素点。该方法的优点是使用所有可利用的图像数据，能提供非常精确的配准，缺点是需要一个复杂的初始化。

   . 相关法
   对存在平移、旋转、尺度缩放的图像，利用图像间相似性最大化的原理实现配准。它是传统方法，该方法直接利用图像的灰度信息计算图像的相似度，需要根据待配准图像的特点选择相应的度量函数。即通过优化相似性准则计算图像间的变换参数。相似性准则包括灰度差的平方、相关函数和归一化相关函数。由于相关法是一种寻优的全搜索算法，计算量相当大，1975年改进的相位相关法提出，大大降低了运算复杂度。相位相关法，通过傅里叶变换将原始图像(由空域)变换到频域，利用互功率谱中的相位信息进行图像配准。该方法对亮度变化不明感，并且可以用于从不同传感器获得的图像，但配准结果依赖于信号的特性和噪声。

    	扩展相位相关法，能够对具有旋转和平移变换的图像进行配准。
    	快速傅里叶变换法，能够对平移、旋转、缩放变换图像进行精准配准。
   

   . 对数极坐标变换方法
   相位相关法给出了两幅图像之间的平移检测方法，后续大量的研究都致力于将图像的旋转和制度关系转换为平移关系后，在利用相位相关法进行平移检测。对数极坐标变换的关键点就是将存在旋转和尺度关系的图像通过对数极坐标变换为该坐标系下的平移关系，其中极坐标用来解决旋转问题，对数变换用来解决尺度问题。

   . 最大互信息配准法
   互信息是最常用的多模态图像相似性测度，该方法不需要对两种成像模式中图像强度间关系的性质做出任何假设，也不需要对图像进行任何预处理，所以被广泛应用在CT、MR、IPET等多模态图像配准。互信息用熵来定义，常用的是shannon熵互信息。

4. 图像融合

   i). 图像融合试讲两幅已配准图像中有用信息综合到一幅图像中，并以可视化方法显示的技术。配准后的图像由于分辨率和视角的不同以及光照等因素的影响，有时甚至是多光谱图像之间进行的拼接，在图像拼接的重叠部分有事会产生模糊、鬼影或噪声点，边界处也可能形成明显的拼缝，为了改善拼接图像的视觉效果和客观质量，需要对拼接后的图像进行融合。
   ii). 目前融合算法大致可分为：基于图像灰度的融合算法，基于颜色空间变化的融合算法，基于变换域的融合算法。
   . 基于图像灰度的融合算法
   加权平均法是最简单的图像融合算法，将两幅图像对应像素点乘以一个加权系数后再相加得到融合的图像；基于感兴趣区域的图像融合算法可以看做一个自适应的加权平均法，分割出一幅图像的感兴趣区域，其加权系数置为1，将另一幅图像相应区域的加权系数置为0，即将一副图像的感兴趣区域嵌入到另一幅图像中；对比度调制法是利用一副图像包含的图像细节信息提取出其对比度，调制另一幅图像的灰度分布，实现图像融合。