基于深度学习的特征提取方法

1、Repeatability Is Not Enough:Learning Affine Regions via Discriminability

论文链接：https://arxiv.org/pdf/1711.06704.pdf
代码链接：https://github.com/ducha-aiki/affnet

主要贡献是提出了affine shape estimator，并依据次设计了AffNet，用来提取patch，然后用使用Hardnet（主要思想就是力求匹配特征之间的距离尽可能的近，不匹配特征之间的距离尽可能的远）从patch中提取描述子，来完成后续的匹配等工作：

2、Key.Net: Keypoint Detection by Handcrafted and Learned CNN Filters

论文链接：https://arxiv.org/pdf/1904.00889.pdf
代码链接：https://github.com/axelBarroso/Key.Net

主要思想是使用手工特征（可以有效减少CNN模型的复杂程度）和CNN联合提取，再将各层特征图上采样后，综合得到关键点，描述子的提取也可以使用Hardnet模型。

3、From Coarse to Fine: Robust Hierarchical Localization at Large Scale

论文链接：https://arxiv.org/pdf/1812.03506.pdf
代码链接：https://github.com/ethz-asl/hfnet

首先通过一个MobileNet共享计算，1)对所得到的特征图用一个类似的SuperPoint的解码器进行解码，分别得到关键点的得分和局部描述子，2)使用NetVLAD层进行聚类，得到全局描述子。
其训练方式也是一大创新，使用了Multi-task distillation的方法，即根据已经训练好的导师模型来进行训练，针对1)使用已经训练好的SuperPoint，针对2)使用已经训练好的NetVLAD。通过这种方式大大加快了训练速度，并且测试结果显示效果甚至好于训练好的SuperPoint+NetVLAD的特征提取效果。

4、ASLFeat: Learning Local Features of Accurate Shape and Localization（详细可参考博客）

论文链接：https://openaccess.thecvf.com/content_CVPR_2020/papers/Luo_ASLFeat_Learning_Local_Features_of_Accurate_Shape_and_Localization_CVPR_2020_paper.pdf
代码链接：https://github.com/lzx551402/ASLFeat

这份工作的主要目的是解决关键点和描述子联合学习中的两个缺点。首先是特征的形状信息没有得到充足考虑，其次是所提取关键点的的定位准确性不足。所提出的ASLFeat通过三个轻量且有效的改变来解决了这两个问题：1、使用了DCN(Deformable Convolutional Network)来稠密的估计并采用了局部转换的策略，2、使用固有的特征分级结构来处理精确关键点定位所涉及的空间分辨率和底层细节问题，3、使用高峰值测量的方法关联特征响应并且获得更为可靠的检测分数（通过检测分数来衡量关键点的性能）。
在这里插入图片描述

针对D2-Net关键点位置提取不精确的缺陷提出了MulDet

注：相比U-Net中的将低层特征图和高层特征图直接进行融合，所提出的方法对底层的特征图不做处理，只对高层特征图进行处理，更好的保留了低层次结构，如角点、边等。