ASLFeat: Learning Local Features of Accurate Shape and Localization阅读笔记（未完）

用于提取局部特征的一种方法，类似于superpoint

Abstract

减轻局部特征检测器和描述符联合学习的两个瓶颈。（1）密集特征提取过程中，忽略特征点的局部形状（尺度、方向等），而形状是获得较强集合不变行的关键。（2）关键点的定位精度不足以可靠的恢复相机几何结构。
本文提出ASLFeat，通过三个轻量修改来改善上述问题，（1）利用可变形CNN来密集估计和应用局部变换。（2）利用固有特性分层来存储空间分辨率和底层细节以实现精确的关键点定位。（3）利用峰值检测关联特征响应以及派生更多指示检测核心。

Introduction

重新讲了一遍摘要。ASLFeat的三个轻量修改：（1）在稠密预测框架中部署可变形卷积网络DCN，它不仅允许局部变换的逐像素估计，还允许通过叠加多个DCN进行渐进形状建模。（2）利用固有的特征层次结构，提出了一种多层次的检测机制，该机制不仅可以在不增加学习权重的情况下恢复空间分辨率，而且还可以恢复低层次的细节信息，实现精确的关键点定位。（3）将方法建立在一个改进的D2网络上，该网络是从零开始训练的，并且进一步提出了一个峰值测量方法，用于更选择性的关键点检测。
本文旨在描述两个问题（1）局部描述符需要什么变形参数化（deformation parameterization）。（2）对于关键点检测器，什么样的特征融合是有效的。

Related Works

仅对利用网络学习的方法进行分析。

Local shape estimation

大多数现有的描述符学习方法没有明确的对局部形状建模，而是依赖于几何数据增强（缩放、旋转估计）来获得几何不变性。OriNet和LIFT学习特征整点的规范方向；AffNet预测更多的仿射参数以提高建模能力，用对数极坐标处理特定的比例变化；这些方法虽取得很好的效果，但是分别构造了两个独立的网络来预测图片块形状和描述，因此仅限于以图片块的作为输入且计算量大。作为替代方案，UCN和LFNet将图像作为输入，并对中间特征执行STN。LFNet需要多个前向通道来转换单个的“特征块”，因此只有稀疏位置的预测才是实际应用的。

Joint local feature learing

用一个统一的网络学习特征检测器和描述子，共享大部分计算。

Methods

prerequisite

主干架构建立在a.预测和应用密集空间变换的可变形卷积网络DCN；b.联合学习关键点检测器和描述符的D2Net。