论文阅读笔记CTM：《Finding Task-Relevant Features for Few-Shot Learning by Category Traversal》

通过遍历类别查找小样本学习上的特定任务的特征

这里的重点在遍历类别样本，提取类内不变性特征和类间唯一性特征

1 核心思想

之前的一些方法（孪生、匹配、原型、关系）把不同的类彼此独立看待，没有将整个任务当做一个整体，这阻碍了与任务相关的特征提取能力。换句话说，本文通过遍历支持集，在特征空间中发现（与任务相关的）类内共性和类间唯一性。
本文主要提出了一种Category Traversal Module（CTM）类别遍历模块，即插即用，通过该模块可以实现上文所说的目的。

1.1 问题引入：

作者给了这么一个例子：在图a中，支持集里包含五个类别的样本，每个类别只有一个样本（one-shot），而每个样本都包含两个特征：颜色和形状；当我们给出一个查询样本（绿色+圆形）时，如果用传统的距离度量方式去计算，会发现除了和第二个样本的距离为2（颜色和形状都不同），和其他四个样本的距离都为1（颜色和形状只有一个不同），如果按照传统的度量学习方式，可能会把查询样本随机分配给四个类别中的一个。但我们仔细观察支持集中的五个样本，会发现不同的类别之间，其颜色特征都是不同的，而形状特征却存在不同类别共有一种特征，这说明颜色才是区分类别的根本特征，这种不同类别之间属性均不相同的特征就叫做**“类间独有特征”。
在图b中，支持集里每个类别包含四个样本（few-shot），同一类别样本的颜色特征有3个样本都是相同的，而形状特征各不相同，这就说明颜色特征是这类样本所共有的，这就是类内共有特征**。
————————————————
版权声明：本文为CSDN博主「深视」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。
原文链接：https://blog.csdn.net/qq_36104364/article/details/106363521

1.2 解决思路

提出一个模块CTM，通过遍历所有样本，发现这些知识：类内共有特征和类间唯一特征

2 实现过程

相对于之前仅仅在类内进行平均的方法，本文提出了类别遍历模块，寻找类间的唯一性特征，

2.1 CTM模块

CTM模块包含两个部分，聚集器（Concentrator）和投影器（Projector）。集中器用来提取类内共享特征，投影器用来提取类间独有特征。下文详述实现方式：

通过特征提取网络获得支持集和查询集的特征信息f _θ（S）和f_θ（Q），然后支持集的信息进入聚集器，在聚集器中通过CNN进行维度压缩，然后计算每个类别样本特征的平均值作为输出o，过程通过公式表示如下：

NK表示N个类别，K个样本。m₁表示特征图的通道数，d₁表示特征图的尺寸，经过聚集器，对每个类别的样本特征图取均值。这一过程是为了去掉各个实例之间的差异，并提取每个类别的共有特征。

本质上是通过卷积进行通道上的降维，优于平均操作。直接进行平均操作可以看做该方法的一个特例（尺寸不变）

聚集器的输出o进入投影器中，先将各个类别的特征图沿通道方向拼接起来，然后通过卷积压缩特征图，最后在特征图通道维度上使用softmax层（实现类间的遍历），得到各个特征图对应的掩码图p，表示如下：

为了捆绑CTM的输出，使用一层CNN更改一下支持集和查询集上特征嵌入的维度。公式如下：

最后，最后将变形后的特征图r ( S )和r ( Q ) 与对应的掩码图逐元素相乘，得到改进的特征图I ( S ) 和I ( Q )，改进后的特征图可以直接应用于各个基于度量学习算法（Matching Net， Prototypical Net 或者 Relation Net）的分类器。
来自博主DeepWWJ的流程图如下：----摘自[https://blog.csdn.net/qq_21157073/article/details/103645441]

2.2 目标函数

交叉熵

2.3 训练策略

无

3 结论

本文提出了一个类别遍历模块(CTM)，通过查看整个支持集的上下文来提取与每个任务最相关的特征维度。通过这样做，它能够利用类间唯一性和类内共性属性，这两个属性都是分类的基础。通过将所有支持类放在一起，我们的方法能够识别每个任务的区别性特征维度，同时仍然完全从头开始学习有效的比较特征。我们设计了一个集中器，通过对输入特征进行有效的下采样和平均，首先提取类内实例之间的特征共性。引入投影器以遍历支持集中所有类别的特征尺寸。投影器的类间关系要集中在与手头任务相关的特征维度上。然后，CTM的输出被组合到用于支持和查询的特征嵌入上；增强的特征表示对于任务而言更具唯一性和区分性。把该方法插入到现有的基于度量学习的小样本任务上，相对基线能够提高百分之5-10个点。

4 创新点总结

本文提出了一种可用于基于度量学习的小样本分类算法的特征学习模块CTM，其通过更直接的学习类间独有特征与类内共有特征，对原有的特征提取网络进行了改进，进而提高了小样本分类的准确率。

5 算法评价

本文提出的这一改进方案，在思想上是非常直观的，类间独有特征与类内共有特征的引入也符合人类在识别物体时的习惯，在结构上本文设计的CTM模块非常简单灵活，能够与多种算法相结合，实现即插即用的效果。最重要的是，实验结果表明与各个算法结合之后，在多个数据集中相对于baseline其分类准确率都有2%-4%的提高，这一改进无疑是巨大的，具有极高的应用价值（感觉类似SENet）。<来自深视>
————————————————
版权声明：本文为CSDN博主「深视」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。
原文链接：https://blog.csdn.net/qq_36104364/article/details/106363521