2020最强图像匹配综述论文-Part1

0. 序言

这是2020年7月录用发表的最新匹配领域综述论文，论文题目是

• 《Image Matching from Handcrafted to Deep Features: A Survey》

论文引用文献超越500多篇，是迄今匹配领域最强综述论文，引文质量也较强，当然作者也将自己近年来发表的数篇论文进行了自引。不可否认的是，此文透彻分析了从基于传统特征到深度学习的匹配算法，对于匹配领域新进学者快速把握匹配相关历史和算法演进具有非常重要的引导和指导性，是不可多得的综述论文。

---

---

为了帮助大家更好地学习和分析匹配算法，本文先是对文章进行了整体介绍，并将其全部引文进行了下载和整理，我会在本文最后公开此综述论文及其全部引文PDF下载链接，供大家免费下载和查阅！

TODO:

• 所有引文PDF的规范命名和导引目录
• 所有引文在原文引用处的标注
• 文章较长，博客的文章整理工作需要时间，写好就更吧

原作者共引用大概不到520篇，具体没统计，没有下载到的文章或非论文引用大概不到5项，目前共完成514篇引文下载，还包括作者未引用的两篇匹配论文，后续有其他相关论文会继续增添，有好的论文欢迎留言给我，我来下载补充。
如有错误，还望见谅，评论指出，共同进步

                 |  |
                 |  |
                 |  |
             \   |  |  /
               \      /
                 \  /
                  V

---

---

2020年10月15日更新

先更新前三章的内容吧，后面10月内放出，可以直接看PDF了，本博客文章下面的内容可以忽略了

• 链接：https://pan.baidu.com/s/1jckkBC3G3tkkJn4Tu7JCcA
• 提取码：zong

或者公众号后台回复"匹配报告"，自动获取下载地址！！

                 |  |
                 |  |
                 |  |
             \   |  |  /
               \      /
                 \  /
                  V

以下内容可以忽略，直接看放出的PDF文件了！！！

1. 全文概览 作为视觉应用程序中的一项基本任务和关键任务，图像匹配可以对应相同或来自两个或更多图像的相似结构/内容进行识别，以完成图像间的“对齐”。在过去的几十年中，尤其是近年来随着深度学习技术的发展，各种匹配算法层出不穷，但是仍然有一个悬而未决的问题需要解决，那就是这么多的算法，哪些更适合特定的应用场景和特殊的任务要求，以期能设计出更好地图像匹配算法，提高其准确性，鲁棒性和执行效率。这就需要我们对现有算法进行系统全面的审查和分析。
> 
> 全文整体框架图如下：
> 
> ![在这里插入图片描述](https://img-blog.csdnimg.cn/2020082622394124.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2pvcmdfemhhbw==,size_16,color_FFFFFF,t_70#pic_center)
> 
> 
> # 2. 特征检测
> 
> 早期特征一般都是手工设计，检测到的特征常用于表征图像中特定的语义结构，包括corner feature, blob feature,
> line/edge feature, morphological region
> feature。但是，这些特征在图像匹配中都是点匹配，比如关键点或兴趣点，与线或区域特征相比，这些关键点都更容易提取。
> ## 2.1 Overview of Feature Detectors
> 
> 忽略一下。
> ## 2.2 Corner Features
> 
> 举个简单例子，Corner feature可以用直线的交叉点定义，比如“L”， "T", "X"
> 或者一个轮廓的最高曲率点，角点的提取方法大致可分为gradient-, intensity-, contour curvature-
> based方法。
> 
> ### 2.2.1 Gradient-based detectors
> 
> Gradient-based方法常利用图像的一阶信息来区分Corner
> feature，早期自动corner检测算法主要是Moravec检测子，这也是第一次引入"interest
> points"，它是基于局部信息的自相关性来提取的，在一个滑窗里，计算搜索每一个像素在8个方向上最小亮度变化，如果最小值大于给定阈值，则当前点为"interest
> point"。但是，由于Moravec检测子在比较方向和尺寸时是不连续的，所以其不具有旋转不变性。随后，著名的Harris
> Corner应运而出，解决了各向异性和计算复杂度问题。Harris算法利用二阶矩矩阵或自相关矩阵寻找到灰度值变化最快和最小的方向信息，因而它具有方向不变性和亮度不变性，后又被改进实现了更好的跟踪性能和更高的定位精度。
> 
> ### 2.2.2 Intensity-based detectors
> 
> 通过对中心点与其周围像素点的灰度值进行比较，简化了图像梯度计算方法，提出了一些template- 或者intensity
> comparison-based
> corner检测子。由于它们具有二值特性，得到了广泛应用，尤其是一些需要考虑存储和实时性需求的场景。早期常见的方法包括Smallest
> Univalue Segment Assimilating Nucleus(SUSAN) 和
> FAST检测子。作为SUSAN的改进算法，FAST检测子得益于其极高的可重复性，得到了广泛应用。随后为了在不损失精度的前提下改进FAST，FAST-ER通过进一步引入像素亮度对比来泛化检测子实现了可重复性的增强。另外，FAST改进算法还包括AGAST，在给出了两个或更多像素亮度对比策略定义基础上，提出一种在扩展的配置空间(an
> extended configuration space)上训练最优和特定决策树的方法，使得FAST检测子更具通用性和适应性。
> 后来，为了能综合利用FAST高效性和Harris可重复性，Rublee提出一种集成特征检测子和描述符，这就是著名的ORB，ORB是利用Harris
> response去选择特定数量的FAST
> corners作为最终检测到的特征。(更详细的ORB介绍可以查阅原始论文，ORB论文名是"359.ORB An efficient
> alternative to sift or surf.pdf")
> 
> ### 2.2.3 Curvature-based detectors
> 
> Corner特征提取算法一般是基于检测到的高级图像结构，比如线，轮廓或显著性区域，Corner特征因而也可定义为一种线或轮廓上的中点/端点
> 或 稀疏采样方法，然后再利用Corner特征进行形状匹配或点集配准，尤其是缺少纹理或二值类型的图像对。
> Curvature-based策略是基于图像类曲线边缘的最大曲率搜索来提取corner
> point，这种策略方法可总结为四大步，(1)边缘检测；(2)selection选择方法；(3)曲线平滑curve
> smoothing；(4)曲率估计curvature
> estimation，最终corners是由选择曲率最大点来决定的，由此可见，第一步edge detector是不可避免的。关于curve
> smoothing和curvature
> estimation就不过多介绍了，详细可参考原文对应章节。最后corners的确定是由阈值策略来实现的，并同时对错误和不显著点进行移除。此外，2018年提出一种基于多尺度分割(multiscale
> segmentation-based)的MSFD检测子算法，并被用以场景匹配和重建(scene matching and
> reconstruction)。
> 
> ### 2.2.4 Marks of Section 2.2
> 
> 前面所说三种corner feature
> detectors是很容易定位在图像中的物体轮廓或边缘结构上的，但是也受限于两张图像中的尺度和仿射变换关系，其中gradient-based方法能实现能准确地定位，intensity-based方法的优势是效率更高，而contour
> curvature-based方法虽然计算量较复杂，但是对于处理无或弱纹理图像和二值图像缺更具优势，比如红外或医学图像。这主要是因为基于图像线索的特征描述符(image
> cue-based feature descriptor)对这类图像是无效的，基于点的描述符(point-based
> descriptor)更善于处理匹配任务(这部分详细内容可参考第3和第4章)。
> 
> ## 2.3 Blob features
> 
> Blob feature常指一个局部闭合区域，其内像素可认为近似，或与周围邻域像素具有较大差异性。常见的Blob feature
> detectors可大体分为基于二阶偏导(second-order partial derivative-)和基于区域分割(region
> segmentation-based)的检测子。
> 
> ### 2.3.1 Second-order partial derivative-based detectors
> 
> 说到二阶偏导检测子，不得不提著名的基于尺度空间理论(scale space theroy-based)的LoG，全称为Laplacian
> of Gaussian，其步骤注意分为两步：(1)首先Laplace
> operator利用图像二阶微分的过零点进行边缘检测；(2)然后采用高斯卷积滤波作为预处理来降低噪声。不同标准方差的高斯函数可以通过搜索多尺度空间极值点在不同尺度上检测出尺度不变的(scale-invariant)blobs作为最终的稳定blob特征。此外，DoG
> (Difference of Gaussian)可以用于近似LoG滤波器，并可极大的加速计算过程；DoG (Determinant of
> Hessian)也是一种经典的blob特征检测方法，并且是仿射不变性，这是因为第二个矩阵的特征值和特征向量被用于估计和校正仿射变换区域。
> 
> 常用的兴趣点检测方法是使用DoG，DoH或二者兼用，著名的SIFT算法就是在DoG金字塔中提取出关键点作为局部极值点(详细介绍见第三章)。随后，著名的SURF算法通过使用Haar
> wavelet计算来近似估计基于Hessian矩阵的检测子，从而加速了SIFT计算过程。当然，一些SIFT-和SURF-based改进算法也非常多，比如完全放射不变的SIFT检测子(fully
> affine invariant SIFT detector, ASIFT)，中心环绕机制策略特征检测子(center-surroud
> extremum strategy feature detector)等(更详细介绍参见原文)。
> 
> 
> ### 2.3.2 Segmentation-based detectors
> 
> 最著名的region segmentation-based blob feature是最大稳定极值区域方法(Maximally Stable
> Extremal Region,
> MSER)，其提取出在一个亮度阈值范围内保持稳定的区域。MSER的改进算法包括挖掘形状结构线索，基于主曲率图像的分水岭区域或者考虑颜色信息。但是，这种类型的特征检测算法很少用于特征匹配，而是逐渐用于显著性区域检测和分割。
> 
> 
> 
> ## 2.4 Learnable Features
> 
> 可学习特征方法主要是基于数据驱动的学习方法(data-driven learning-based
> methods)，分为传统学习和深度学习方法两大类。
> 
> ### 2.4.1 Classical Learning-based Detectors
> 
> 传统学习方法，比如决策树(decision tree)，支持向量机SVM(support vector
> machine)等非深度学习方法已经广泛应用于人工设计的关键点检测算法。FAST检测子是第一次尝试用传统学习方法来实现可靠的，可匹配的关键点确认。这部分内容涉及算法并没有过多介绍，感兴趣的可以查阅原文对应章节。
> 
> ### 2.4.2 Deep Learning-based Detectors
> 
> 受到传统人工设计特征检测子方法，CNN方法通常做法是构建出相应特征图来搜索得到感兴趣点，这又分为监督式，半监督式和无监督式方法。CNN方法基本都是将这个问题转为回归问题，在变换和成像条件不变的约束条件下以一种可微方式进行训练。
> 监督式方法已经展示出了使用锚框(anchor)的好处，anchor可由比如SIFT算法得到，但是这也导致检测子性能严重依赖anchor的构建算法。半监督和无监督方法无需人工标注就可训练得到检测子，而仅依靠两张图像的几何约束(geometric
> constraints)。这类CNN-based算法基本都是通过特征描述符和匹配过程的联合训练将特征检测整合到整个匹配流程中，从而以一种端到端的形式增强最终的匹配性能和优化整个流程。
> 非要举例的话，比如TILDE, DetNet, Quad-Net, TCDET, Key.Net, LF-Net, RF-Net,
> ASFeat,等等等。。(具体的详细看原文吧)
> 
> ## 2.5 3-D Feature Detectors
> 
> 关于3D关键点检测，原作提到了另一篇专门介绍3D领域的关键点检测综述论文(412.Performance Evaluation of 3D
> Keypoint Detectors.pdf)。总的来说，现有方法可分为fixed-scale
> detectors和adaptive-scale detectors，无论哪一种方法，关键点都是选取为预定义的显著性测度的局部极值点。
> 
> ### 2.5.1 Fixed-scale Detectors
> 
> 2007年提出的局部曲面块(Local Surface Patch,
> LSP)算法，在LSP中，一个点的显著性是有它的形状索引来测度的，而其形状索引又由这个点的主曲率来定义。后续出现了ISS(Intrinsic
> Shape Signature)算法， HKS(Heat Kernel Signature)。
> 
> ### 2.5.2 Adaptive-scale Detectors
> 
> Adaptive-scale
> Detectors主要是说在检测时需要自适应的拟合尺度信息。为了实现这个目的，现有方法包括Laplace-Beltrami scale
> space，MeshDoG等等。
> 
> ## 2.6 Summary
> 
> 这部分先留着，太晚了。。。 写于 2020年8月26日23点37分***