通用的多模态图像匹配框架和工业级应用（具有专利权，提供程序下载）

一、前言

多模态遥感图像自动匹配是多源异构遥感数据集成应用的基础，一直以来都是学术界和工业界关注的基础。西南交通大学叶沅鑫老师课题组长进行了长期研究和实践验证，先后获“国际摄影与遥感大会（4年一届）”和“国际摄影测量与遥感地球空间周（2年一届）”最佳青年论文奖，以及测绘科技进步一等奖和二等奖，提出了一系列的多模态遥感图像匹配方法如相位一直方向直方图(HOPC)和方向梯度特征通道(CFOG)。鉴于此，本文将介绍一种通用的多模态遥感图像匹配框架，该框架可以整合各种特征描述符(如SURF、HOG、LSS、HOPC和CFOG)进行快速鲁棒的多模态遥感图像匹配。目前该匹配框架已经集成于航天宏图上市公司的PIE平台，同时应用于多项国防型号项目，也被中国兵器工业集团、航天科技集团、中国科学院、武汉大学等多家国内知名科研机构使用，已经广泛地应用于国土、资源、测绘和国防等领域，实现了从“理论到方法到技术的完整转化应用链条”，如图1所示
代码程序下载网站https://github.com/yeyuanxin110/CFOG 或者 CSDN下载链接

图1 理论到方法到技术的完整转化应用链条

二、匹配框架

本发明提供了一种快速鲁棒的多模态遥感影像匹配框架。该框架利用通过逐像素的特征表达技术来提取影像间共有的结构、形状和纹理等特征，并在其基础上建立了快速的匹配相似性测度，可在多模态遥感影像间快速、精确地获取大量分布均匀的同名点。所提出的匹配框架利用局部特征描述符如(HOG、LSS、SURF和CFOG)等计算图像上每个像素的特征描述向量，然后将其在Z方向进行排列，形成三维的逐像素特征表达图（如图2 ），然后利用逐像素特征图代替灰度值进行模板匹配。

图2 逐像素结构特征表达

2.1 逐像素结构特征表达

下面将介绍几种用于逐像素特征表达的局部特征如HOG、LSS、改进的SURF和CFOG，本发明对特征描述符的形式不限定任何特征描述符都可以集成到我们的框架中进行匹配。

2.1.1 HOG

方向梯度直方图HOG(Histogram of Oriented Gradients)是一种描述图像局部特征的算法，它的主要思想是在一副图像中，目标对象的形状结构能够被梯度或边缘的方向密度分布很好的描述，即它通过计算和统计图像局部区域的梯度方向直方图来构成结构特征（如图3所示）。

图 3 HOG的基本结构

2.1.2 LSS

局部自相似(Local Self-Similarity, LSS)由Schechtman和Irani于2007年在CVPR上提出，LSS使用局部图像几何布局和形状构建特征描述符，这使得只要图像局部间具有相似的几何布局和形状特征，LSS描述符就具有高度相似性。图4显示了一幅图像局部区域LSS描述符的构建过程。

图4 局部自相似的构建过程

2.1.3 改进的SURF

SURF是在SIFT算法的基础上发展的一种快速局部特征提取算子，该算子的基本思路和SIFT一致，只是在特征检测和特征描述阶段运用不同的技术来实现。SURF首先使用积分影像快速构建尺度空间，并进行特征点检测，然后利用Haar小波响应来构建特征描述符。这里我们只是用SURF描述符部分进行逐像素特征描述符构建，不同于原始的SURF描述符具有[dx,abs(dx),dy,abs(dy)]4组特向量，我们这里使用[abs(dx),abs(dy)]2组特征向量。改进的SURF如图5所示

图 5 改进的SURF

2.1.4 CFOG

CFOG是一种基于多方向梯度的逐像素特征描述符，它具有计算速度快和匹配精度高的优势。首先我们计算图像的多方向梯度信息，然后构建一个3D高斯卷积核对多方向梯度进行滤波得到卷积特征表达图，最后对该特征图进行归一化得到最后的CFOG特征。CFOG的构建过程图6所示。

图 6 CFOG的构建过程

2.2 匹配相似性测度

在提取的三维逐像素提取表达图基础上，我们可以利用各种相似性测度进行模板，可使用的相似性测度包括有相关系数，灰度差平方和，互相关，互信息和相位相关等。本发明对相似性测度不进行限制，为了快速影像匹配，我们推荐一种基于快速傅里叶变换（FFT）的互相关匹配方法，技术公式如图7所示。

图7 基于FFT的互相关
由上式可知，当相似性测度达到最大值时，可以获得同名点位置。这里将HOG、LSS、SURF和CFOG逐像素特征图整合到所提出的匹配框架进行匹配，下面分别称为FHOG、FLSS、FSURF和CFOG。图8显示了利用它们进行匹配的相似性图。

图8 模板匹配的相似性图

三、实验测试

我们利用光学、SAR、红外、LiDAR和地图等各种多模态遥感图像进行测试（图9），并且与当前主流的匹配方法如NCC、MI、HOG等方法进行对比。实验结果表明，提出的框架获得更好的匹配性能，其中CFOG在匹配正确率和计算效率获得了最优的结果（详情见论文“Fast and Robust Matching for Remote Sensing Image Registration” TGRS 2019）。

图 9 多模态遥感数据的匹配同名点图

四、相关应用

所发明的匹配框架以及集成于航天宏图上市的PIE平台，并在全球测图、无人机在线匹配，无人机在线视频融合、无人机视觉导航和飞行器精确制导方面获得了广泛的应用，同时还荣获了2021年全国首届火箭军人工智能挑战赛“异源匹配组”三等级（400支队伍参赛），并且是获奖中唯一没有使用深度学习的队伍，具有很好的算法落地性能。相关应用图10所示

图10-1 匹配框架集成于航天宏图公司的PIE平台

图10-2 匹配框架应用于全球测图

图10-3 无人机光学、红外、SAR在实时匹配和融合

图10-4 无人机可见光视频和红外视频在实时匹配和融合

图10-5 无人机视觉实时匹配定位导航

图10-6 浮空器平台多光谱图像配准拼接

五、相关论文

[1] Yuanxin Ye, J. Shan, L. Bruzzone, and L. Shen. Robust registration of multimodal remote sensing images based on structural similarity. IEEE Trans. Geosci. Remote Sens., 55(5), 2017,2941-2958.（ESI高引论文）
[2] Yuanxin Ye, Lorenzo Bruzzone, Jie Shan,et al. Fast and Robust Matching for Multimodal Remote Sensing Image Registration.IEEE Transactions on Geoscience and Remote Sensing, 2019,57(11), 9059-9070 (对应的arXiv版本是完整版)
[3] Zhu, B., Ye, Y*., Zhou, L., Li, Z., & Yin, G. Robust registration of aerial images and LiDAR data using spatial constraints and Gabor structural features. ISPRS Journal of Photogrammetry and Remote Sensing, 2021,181, 129-147.
[4] Zhou, L., Ye, Y.*, Tang, T., Nan, K., & Qin, Y. . Robust Matching for SAR and Optical Images Using Multiscale Convolutional Gradient Features. IEEE Geoscience and Remote Sensing Letters. 2021.

六、知识产权

本文介绍的是一种通用的多模态遥感图像匹配框架，已获得专利权。该框架可以利用各种特征描述符如HOG、LSS、CFOG、各种梯度信息，相位信息，边缘信息等构建逐像素的三维特征表达图（本发明不对具体特征进行限定），然后利用各种相似性测度如相关系数，灰度差平方和，欧式距离、互信息和相位相关等进行模板匹配（本发明不对具体相似性测度进行限定），考虑到计算效率问题，我们推荐使用基于FFT的互相关做相似性测度。
由于所发明的框架技术已经成功商业化，而且形成了产业级的应用，因此在没有发明者同意的情况下，只能将其用于科学研究，不能将其任何形式的项目或者商业化应用。