Few-Shot Image Recognition by Predicting Parameters from Activations

本文基于神经网络中同一类别倒数层的激活值和最后的全连接softmax层的参数有密切的关系，通过训练一个参数预测器，使得在大量数据集中预训练过的网络可以通过直接从激活值预测参数的方式将模型映射到只有少量样本的测试数据集中。作者希望模型可以在少样本和大量样本的情况下均有良好的表现。

作者通过使用t-SNE对激活值的期望${\bar{a}}_y$(左)和全连接层的参数$w_y$(右)进行了可视化，同一颜色和形状的点表示同一种类别，形状相同的属于同一大类，可以发现同一类别的激活值在空间分布上是聚集在一起的。在最后的全连接层中，对应类别的$w_y\cdot a_y$, $forall{a}_y\in A_y$ , $A_y=\{a(x)|x\in D_{large}\cup D_{few},Y(x)=y\}$（a(x)表示样本x的激活值）越大，分类的效果越好。所以$w_y$的分布应该与${\bar{a}}_y$的分布越接近越好，以便使內积最大。这个结果说明在一个好的特征提取的情况下是存在一个类别无关的从激活值到参数的映射，也就是要训练的参数预测器$\varphi$

模型

模型在大量的数据集中进行训练，由于激活值和参数在各自的空间中具有相似相似的局部和全局结构，所以在$C_{few}$的类别上应该有比较好的泛化能力。

1. 预测器

通过在大量数据集上最小化分类损失学习预测器$\varphi$
$$\mathcal{L}=\sum _{(y,x)\in D_{large}}[-\varphi ({\bar{a}}_y)a(x)+log\sum _{y\prime \in C_{large}}{e}^{\varphi ({\bar{a}}_{y\prime })a(x)}]+\lambda ||\varphi ||$$
然后，对于少样本的数据集，每一类通常只有几个样本，或者只有一个样本，所以激活值可能只有一个，激活值的平均值就是激活值自身。为了在两个数据集上统一，所以使用$s_y\in {\mathcal{A}}_y\cup {\bar{a}}_y$替代${\bar{a}}_y$。规定$p_{mean}$的概率使用${\bar{a}}_y$，$1-p_{mean}$的概率从${\mathcal{A}}_y$中均匀抽样。损失函数更新如下：
$$\mathcal{L}=\sum _{(y,x)\in D_{large}}{\mathbb{E}}_{S_{large}}[-\varphi (s_y)a(x)+log\sum _{y\prime \in C_{large}}{e}^{\varphi (s_{y\prime })a(x)}]+\lambda ||\varphi ||$$

2.推断

规定一个统计值集合$S=\{s_1,\dots ,s_{|C|}\},C=C_{large}\cup C_{few}$，每一个集合S都可以生成一个用于构造分类器的参数集合，由于有多个集合S(指数级)，所以使用所有S训练分类器。定义x对y的概率分布如下：
$$P(y|x)=e^{{\mathbb{E}}_S[\varphi (s_y)a(x)]}/(\sum _{y\prime \in C}{e}^{{\mathbb{E}}_S[\varphi (s_y\prime )a(x)]})$$
由于S是指数级的，所以对其计算期望及其耗时，为了计算高效假设$\varphi$是一个线性的映射，所以
$${\hat{w}}_y=\Phi \cdot s_y$$
$$h(s_y,a(x))={\hat{w}}_y\cdot a(x)=\Phi \cdot s_y\cdot a(x)$$
如果$s_y$和$a(x)$都经过归一化，$\Phi$是单位矩阵，上式就变成了余弦相似度。所以，通过学习$\Phi$，实际上是学习了一个更具有泛化能力的相似度度量。所以概率分布可以简化为
$$P(y|x)=e^{a(x)\cdot \Phi \cdot {\mathbb{E}}_S[s_y]}/(\sum _{y\prime \in C}{e}^{a(x)\cdot \Phi \cdot {\mathbb{E}}_S[s_y\prime ]})$$
现在可以预计算${\mathbb{E}}_S[s_y]$来提高效率，但是当新增的类别$y\in {\mathcal{C}}_{few}$，由于样本少${\mathbb{E}}_S[s_y]$的估计值可能就不可靠了，所以采取下图的混合策略

所以对于少样本集中的新类别，将每一个样本作为一个新类别，计算出对应于新类别內积最大的样本，作为softmax层的输入。

3.训练策略

对于训练集的每个batch的每个类别，随机抽样得到集合$s_y\in {\mathcal{A}}_y\cup {\bar{a}}_y$，之后，从数据集中为每一类选取样本组成训练激活值的集合（共计$2|C_{large}|$）。使用$s_y$生成的参数，之后会用于将训练集分类以检验准确性。

4.实现细节

• ImageNet
  • 一共1000类， 900类作为$D_{large}$ ， 100类作为$D_{few}$
  • 先在$D_{large}$上训练一个ReNet-50，将最后的池化层的输出样本x的激活值。
  • 一共有3个参数生成器：${\varphi }^1,{\varphi }^2,{\varphi }^{2\ast }$
  • ${\varphi }^1$是一个单层的全连接模型
  • ${\varphi }^2$是一个双层的RNN，第一层输出后加了ReLU，第二层输出进行了归一化
  • ${\varphi }^{\ast 2}$和${\varphi }^2$结构上相同，但是优化的是未经优化的损失函数
• MiniIMageNet
  • 一共100类，80类作为$D_{large}$，20类作为$D_{few}$
  • 为了公平比较，同时训练了和MatchNet一样的浅层网络用于特征提取

实验

在miniImageNet上的准确度如下