论文阅读——D2-Net: A Trainable CNN for Joint Description and Detection of Local Features

一、概述

  作为近两年detector和descriptor joint learning（也称one-stage）类型论文的又一代表，D2-Net是一种相当特别的结构。其特点是“一图两用”，即网络预测出的dense tensor即是detection score maps，又是description map特征图即代表特征检测结果又代表特征描述结果（注意预测的特征图并不是原图分辨率大小）。换句话说，D2-Net的特征检测模块和描述模块是高度耦合的。

  本文主要针对的是appearance变化较大（包括日-夜变化、大的视角变化等）场景下的图像匹配任务。文章作者比较了两种局部特征学习方法：sparse方法和dense方法。其中sparse方法高效，但是在appearance变化大的场景提取不到可重复的关键点，其原因在于特征提取器只使用浅层图像信息，不使用语义信息；dense方法则直接利用深层特征提取密集特征描述，更加鲁棒却以更高的匹配时间和内存开销为代价。

  因此作者的目的在于，提出一种足够鲁棒的sparse local feature，让其提取的特征（兴趣点）具有更好的repeatability，进而实现既有sparse方法的高效性，又有dense方法的鲁棒性。其核心idea是将特征提取阶段延后，使得局部特征也可以利用高层语义信息，而不是只考虑低层信息。

---

问题：关于这里的sparse和dense方法

1. 作者这里提到sparse方法的缺陷是keypoint不够可重复，因为这些sparse feature提取时只考虑图像低层特征。但是这段又没给参考文献，所以本文究竟是针对哪些论文做的改进呢？近几年的local feature并不会像作者说的那样“only consider small low-level information like image regions”啊？难道是针对SIFT为代表的的传统方法的缺陷吗？看到下面评估部分也有和SuperPoint对比，那SuperPoint也有这个缺陷吗？

2. dense方法这几篇文献没读过，但是作者说这些方法“跳过检测直接提取密集描述子的方法”，这还是图像匹配吗？

   答：阅读了下UCN的论文，发现所谓密集匹配方法就是直接对输入两图(A,B)预测特征然后在特征空间上进行最近邻搜索等方法，预测出特征之间的稠密关联，简单理解就是已知图像A上的关键点就是每个像素点，然后要求它们在图像B上的对应位置（理解的不一定准确）。

---

关键词：A single CNN plays a dual role; joint optimization; different train/test model structure

二、方法

2.1 模型结构设计

  不同于SuperPoint或者SEKD，本文虽然也是dense prediction类型的结构，但并不同时预测kpt和description两个图，而是只预测了一个形状为HxWxd（d为特征描述的长度）的特征图，然后既作描述结果又作检测结果…从spatial维度来说，该特征图的每个像素位置是一个描述子；从channel维度来说，每一个通道代表一个特征检测器的检测结果，总共得到d个2D响应图，这里可以用SIFT中的高斯差分金字塔响应来类比。

  后续的兴趣点提取需要对这个d通道的特征图做进一步的后处理:

  按照上面对D2特征图的定义，如果(i,j)位置是一个兴趣点，则从通道维度来说该像素位置最终的检测结果肯定要取检测器响应值最大的通道对应数值，这样就选出了通道；从空间维度来说又要满足该位置在该通道的2D map必须为一个局部最大值。即本文中的"hard feature detection"：

  首先对输入图像构建图像金字塔，然后在每个scale上进行forward，得到D2特征图，再把多尺度特征图逐scale上采样并与同分辨率融合（见下式），得到融合后的特征图。预测阶段根据融合特征图进行上述后处理，即可提取出特征点。

  由于上述特点，网络结构本身发非常简单，直接用VGG16 conv4_3之前的部分，恢复ImageNet上的预训练权重，然后除了最后一层conv4_3之外全部冻结，只对该层做微调。不过关于模型，有两个值得注意的地方：

  1.使用VGG16的结果比ReseNet好很多
  2.训练时和测试时的模型结构不同
  具体来说，在测试阶段为了提高特征的分辨率，将pool3改成一个stride为1的avg pool，随后的三层conv dilation ratio调整为2，以维持相同的感受野。作者解释是说训练时为了减小内存使用比较小的特征分辨率，测试时为了提高特征定位能力，将分辨率提升到原图的1/4，并加上了一个类似SIFT中使用的局部特征提炼，然后将特征插值上采样到原分辨率。

  不过训练过程不能用上面的hard feature detection，因为其不可微。故作者提出了一个soft的版本，其设计思想就是模仿hard方法的通道选择和空间位置选择（即通道内的局部最大值）：

  对于空间位置选择，作者会对特征图的每个像素求一个α(i,j)，得到α map(shape为[h,w,d])：

  其中N(i,j)代表以(i,j)为中心的9-邻域。因此可见这里的局部最大值其实是在3x3区域内的最大值，而不是式(3)中写的那样，整个通道只输出一个最大值。

  对于通道选择，直接计算一个ratio-to-max得到β图(shape为[h,w,d])：

  根据kpt的定义，score map s就应该是α map和β map的乘积map在通道维度求最大值的结果。最后再做一个归一化：（问题：这个归一化让score map的像素值之和为1是什么意思？score map不应该用sigmoid之类的转为0-1之间的分布比较合理吗？）

  关于这部分还要考虑一个问题，为什么D2-Net需要在训练中提取兴趣点？（比如R2D2等结构，都是直接针对kpt score map做优化，只有实际预测时才需要根据score map提取特征点这个步骤）

  答：这个问题的理解是不正确的，训练中并不是提取兴趣点，而是在得到”single score map"。上面的hard feature detection相当于NMS的过程，输出的是稀疏的兴趣点位置坐标；而训练检测模块需要hxw的score map，故先要把hxwxd的特征图经过一个可微的步骤，处理后得到该score map。

2.2 联合优化目标函数设计

①triplet margin ranking loss（只考虑描述子）

  训练描述子其实没有太多不一样的地方，就是根据输入pair的correspondences，将每一个匹配对c视为正对，不匹配对为负对，对构成的三元组进行训练。主要问题是如何根据当前匹配对c构建最有意义的负对。作者这里用了一个基于邻域的困难样本挖掘策略，假如当前匹配为下图的点A和点B，那么分别在I1和I2扣去A\B邻域的区域找负对，并分别与B的描述子dB、A的描述子dA进行比较，找到所有这种负对中相似度最小的，与c构建三元组。

  以下p(c)和n(c)分别代表正对距离和负对距离。m(c)代表当前匹配c的triplet loss。

②加入描述子优化的triplet margin ranking loss

  由于D2特征即代表兴趣点score map也代表描述子，本文的优化需要对检测和描述进行联合优化。作者在triplet margin ranking loss基础上加入了提升检测结果可重复性这一优化目标，具体实现方法是：利用输入两图像中所有correspondences的检测得分来对当前匹配计算出的triplet loss进行加权平均，如果当前匹配triplet loss很低（即该对匹配的距离远小于其各自的最难负对），则为了最小化loss，这一对triplet loss小（即区分度高）的correspondence自然要给更大的权值；其他triplet loss大的correspondence就给小点的权值。

  感觉文中式(13)的符号有点confusing，m(p(c),n(c))直接写成,m(c)可能更加简洁。

三、评价

1. 本文核心idea是将特征提取延后，使用网络提取的深层特征进行后处理，得到用于检测kpt的score map。与此同时作者发现提取到的特征也可以顺便作为描述子，故提出了这种“一图两用”，联合优化的结构
2. 本文论文的比较简单，但是给出的代码实现非常整齐。
3. D2-Net测试阶段为了获得更高的分辨率，将训练的网络结构进行修改（通过减小pool stride和增大conv dilate rate维持感受野），使得测试时可以正常加载训练的权重，且特征分辨率更高。这种操作感觉很有创意，之前没有遇到过。
4. 作者在实验阶段尝试用预训练好的resnet作为backbone，但是结果比vgg差不少，这个也比较奇怪。