（二）无人机数据处理算法介绍——图像拼接

                                 无人机视频图像拼接

1.图像拼接技术概况

       图像拼接是将空间中具有一定重叠率的图像序列校正为一幅无缝的宽视场图像。它通常包括图像预处理、图像配准和图像融合3个步骤,其中图像配准是最为关键的一步,目前最常用的配准方法可以归纳为区域配准和特征配准两大类。基于区域的配准方法,例如互相关法、相位相关法和归一化的相关法等,处理思想简单,可以借助快速傅里叶变换(FFT)方法计算互相关系数,从而提高其计算速度以及缩短处理时间,但是它受图像灰度变化的影响较大,对旋转和畸变图像配准误差较大。基于特征的配准方法,具体的实现方法有空间关系法、不变描述算子法和统计概率法等,配准精度高,但是计算过程复杂,实现难度较高。尽管这两大类方法在实现过程中可以通过倒金子塔的思想提高计算速度,但是根据某型航侦相机的特点,如果直接应用这些算法实现图像拼接,则拼接过程产生的数据量大、消耗的时间长,不符合航空侦察实时任务的要求。

           1.1 二维模型

          图像拼接的研究是基于这样的假设相机固定在空间某一点,然后旋转一圈进行拍摄,每次拍摄的焦距没有变化。这一假设可以看成没有遮挡关系变化的柱面平面成像过程,来表示。两图像间的对应关系可以通过仿射变换或单应变换来模拟

例如平面运动关系

        1.2 图像配准方法

        （1）直接方法

       直接方法中最简单的方法先由用户交互指定一些初始匹配点,然后根据运动关系最小化这些匹配点间能量的差平方之和SSD。

        （2）基于特征配准方法

       基于特征的方法实现过程大致要经过特征查找、匹配和运动关系求解三个过程。早期的特征匹配算法以基于Harris特征检测器的特征检测技术最为稳定。Harris的原理是这样的,对于一幅灰度图像上的某一点I(x,y),可以通过计算出下面的海森阵判断该点是否为角点。

        特征检测之后,可以直接进行特征匹配,如直接进行特征周围象素的相似性比较,但是这种方法并不能保证稳定,特别是对于存在大量冗余特征的情况。比较好的做法给每个特征赋予一定的描述符,比如特征邻域内进行方向直方图统计的方法抽取特征的方向作为特征的描述方法等。LoW则是经过复杂的处理过程得到一个更SIFT高维的描述进行特征描述。实验对比发现等的这一描述字在特征匹配方面的效率更高。

        利用这样的描述字,特征匹配就变成查找相近的特征描述字的索引过程,如果是低维描述字，可以利用 马氏距离直接计算出最相近的描述字,从而得到一个可能的特征匹配对。而对于高维的描述字如SIFT128的维描述字一个最相近的描述字很难消除噪声的影响,因此需要采用一树搜索多个近似最相近的描述字来查找每个特征的多个可能匹配特征。k-d树本身已有很多近似最近邻算法,比如等最早利用递归查找的方法查找近似最近邻。arya等理提出优先搜索进行k-d树的搜索,该算法在执行过程中利用一个优先队列保存搜索过程中遇到的次近邻兄弟节点,在搜索到叶子结点后先从优先队列里的节点出发继续搜索,另外,作者还提出增量距离计算的思想进行加速搜索。也提出的类似的算法。

       找到特征匹配对之后,就可以求解运动关系。这里的运动关系通常是对应矩阵,因为复杂的相机运动关系只用两幅图像很难计算出来。求解运动关系可以采用RANSAC 方法。两者都是通过迭代的方法实现求解,且在每次迭代中都是先随机选一些特征匹配对求解一个初始的运动关系。不同的是前者在迭代结束时取产生最多特征匹配对的迭代中的特征匹配对求解最终对应矩阵,而后者则是取具有最小均值的迭代中的对应矩阵作为最终的对应矩阵,因此方法不能取得满足最终对应矩阵的特征匹配对。

2.图像拼接的关键技术之特征提取与匹配

       特征提取与匹配重要性：

          1）是图像拼接的基础

       2）是图像拼接制约发展的关键技术

       3）消耗时间最多

SIFT（Scale-invariant feature transform）

精度高，但耗时

首先建立尺度空间：

即创建从原图像2倍的图像大到32X32大小的尺度空间，每层空间分别采用不同的卷积核来卷积得到不同程度的卷积图像，每层图像间相减得到DOG，通过DOG图像中每层的中间两幅图像进行遍历，得到包括本层、上、下三层的极值，如下图

作为潜在特征点，通过输入图像关键点定位、消除边缘响应、关键点方向分配

特征点描述（128维向量）、 两幅图像特征点的匹配、 特征点绘制

特征描述后，进行特征匹配：

消除错误匹配：

  

最终试验拼接图像