论文阅读笔记 [ICLR 2018] Meta-Learning For Semi-Supervised Few-Shot

半监督小样本分类的元学习

论文原文链接：https://arxiv.org/abs/1803.00676

摘要

在小样本分类中，人们感兴趣的学习算法是，仅根据少量带标记样例训练分类器的算法。元学习是近年来小样本分类研究的一大特色，元学习定义了一个学习算法的参数化模型，并在代表不同分类问题的片段上进行训练，每个片段都有一个小的带标记训练集和相应的测试集。本文中，作者将这种小样本分类模式推进到一个新场景中，在这个新场景中，每个片段也可以使用未标记的样例。作者考虑了两种情况：第一种情况是，假设所有未标记样例都与本片段中带标记样例属于同一类别；另一种更具挑战性的情况是，未标记样例中含有来自其他干扰类的样例。为了实现这个新模式，作者对原型网络（Snell 等人 2017）进行了扩展，使其能够使用未标记样例来生成原型。采用端到端的方式（具体怎么做的？），在片段上训练这些模型，使其学会成功利用未标记样例。作者在适应这个新框架的 Omniglot 和 miniImageNet 基准测试版本上评估了这些方法。作者还提出了一种新的 ImageNet 数据集分割方法，具有层次结构（为什么提出新的分割方法？）。实验表明这种新方法能够学会利用未标记样例来改善预测结果，就像半监督学习那样。

1 引言

最近各种元学习方法使得小样本分类取得了重大进展。但是，这种进展在每个小样本学习片段的设置中受到限制，这与人类通过多维度学习新概念的方式不同。在本文中，作者采用两种方式来泛化这种设置（具体怎么做的？）。第一，考虑一种情境：新类别是在有额外未标记数据时学到的。第二，考虑一种情况：要学习的新类别不是孤立地看待的。相反地，许多未标记样例属于不同的类别，干扰类的存在给小样本学习带来了更多的实际困难。

图1：考虑一种设置，目标是学习一个分类器来区分两个之前没见过的类别：金鱼和鲨鱼，不仅给出了这两个类的带标记样例，还给出了大量未标记样例，其中一些可能属于这两个类别中的某一个。在这项工作中，作者的目标是通过在小样本学习片段中整合未标记的数据，向这个更自然的学习框架迈进一步，这些数据来自要学习的类(如红色虚线所示)以及干扰类。

这项工作是首次研究这种具有挑战性的半监督形式的小样本学习。首先定义了这个问题，并提出了适用于普通小样本学习中使用的 Omniglot 和 miniImageNet 基准的评估基准。对上面提到的两种设置进行了广泛的实证调查，有或没有干扰类。其次提出并研究了原型网络(Snell 等人，2017)的三种新扩展（扩展到半监督设置中）。最后通过实验证明，这种半监督变体成功地学会了利用未标记样例，并优于纯监督原型网络。

2 研究背景

2.1 小样本学习

$C_{train}$用于训练的类别

$C_{test}$用于测试的类别（与训练中的类别不同）

在 N-way K-shot 结构的片段上训练模型，训练片段的构造过程如下：

• 从 $C_{train}$ 采样得到 N 个类别。
• 对于这 N 个类别：
• • 从每个类别采样 K 个样例组成支持集 $S=\{(x_1^1,y_1^1),(x_1^2,y_1^2),...,(x_N^K,y_N^K)\}$
• • 从每个类别采样若干样例组成查询集 $Q=\{(x_1^1,y_1^1),(x_1^2,y_1^2),...,(x_N^{\ast },y_N^{\ast })\}$

其中 $x_i\in R^D$ 是 D 维输入向量，$y_i\in \{1,2,...,N\}$ 是类别标签。在这些片段上进行训练，是通过将支持集 S 提供给模型并更新其参数来最小化它对查询集 Q 中样例的预测损失。

2.2 原型网络(Snell 等人, 2017)

目前最先进的小样本学习模型。

3 半监督小样本学习

训练集用一个二元组表示 $(S,R)$，其中 S 是传统的有标签支持集，R 是新引入的无标签数据集。

图2：半监督小样本学习设置的实例。训练片段包括支持集 S，无标签样例集 R，查询集 Q。R 中的样例可能与 S 中的样例相关（绿色加号所示），也可能是干扰项（红色减号所示）。但是请注意，该模型实际上并不知道每个未标记样例是否为干扰项；加号/减号只是为了说明而显示。测试时，片段中的类别都是训练时没有见过的新类别，用于评估元学习方法。

3.1 半监督原型网络

作者提出了原型 $p_c$ 的基本定义的各种扩展，提供了一个程序利用 R 中的无标记样例生成改进的原型 ${\tilde{p}}_c$。使用相同的损失函数来训练原型网络中的模型，只是把 $p_c$ 替换为 ${\tilde{p}}_c$。

图3：左图：普通的原型网络，基于对应类别的样例特征均值来初始化其原型，支持样例、无标签样例、查询样例分别用实线、虚线、白线边框表示。右图：结合无标签样例来获得改进的原型，能够正确分类所有查询样例。

3.1.1 具有软聚类的原型网络

首先考虑一种利用无标签样例来改进原型的简单方法，这是从半监督聚类中得到的启发。把每个类别的原型看作聚类中心，改进过程可以尝试把聚类中心调整到更好的位置，来适应支持样例和无标签样例。在这个观点下，支持集中样例的聚类赋值被认为是已知的，而且是固定的（对于每个样例的标签）。改进过程必须估计无标签样例的聚类赋值，并相应地调整聚类位置（原型）。

一个自然的选择是借鉴软聚类的推理。之所以选择软聚类而不是硬聚类，是由于硬聚类会使推理不可微。首先用常规原型 $p_c$ 作为聚类中心，然后根据无标签样例到聚类中心的欧氏距离获得每个聚类的部分赋值 $({\tilde{z}}_j,c)$，最后结合这些无标签样例得到改进的原型 ${\tilde{p}}_c$。计算公式如下：

${\tilde{p}}_c=\frac{{\sum }_{i}h(x_i)z_{i,c}+{\sum }_{j}h({\tilde{x}}_j){\tilde{z}}_{j,c}}{{\sum }_i{z}_{i,c}+{\sum }_j{\tilde{z}}_{j,c}}$，其中 ${\tilde{z}}_{j,c}=\frac{exp\left(-||h({\tilde{x}}_j)-p_c|{|}_2^2\right)}{{\sum }_{c^{\prime }}exp\left(-||h({\tilde{x}}_j)-p_{c^{\prime }}|{|}_2^2\right)}$ (4)

可以进行多次优化迭代，就像 k-means 中常见的那样。但作者实验了几种不同的迭代次数，发现结果并没有改善超过单次优化。

3.1.2 带有干扰簇的软聚类的原型网络

没有干扰类，只是一种假设的理想情况，更加普遍的情况是有干扰类。

由于软聚类的取值分布是所有类别，干扰项可能是有害的，并会干扰原型的优化过程。解决这个问题的一个简单方法是，增加一个额外的簇来捕获干扰项，避免它们污染有用的类簇。

$p_c=\{{}_{0forc=N+1}^{\frac{{\sum }_{i}h(x_i)z_{i,c}}{{\sum }_i{z}_{i,c}}forc=1...N}$ (5)

这里作者采用简化的假设，干扰类簇有一个以原点为中心的原型，并引入长度尺度 $r_c$ 来表示类簇内部的距离变化，特别针对干扰簇：

${\tilde{z}}_{j,c}=\frac{exp\left(-\frac{1}{r_c^2}||h({\tilde{x}}_j)-p_c|{|}_2^2-A(r_c)\right)}{{\sum }_{c^{\prime }}exp\left(-\frac{1}{r_c^2}||h({\tilde{x}}_j)-p_{c^{\prime }}|{|}_2^2-A(r_{c^{\prime }})\right)}$ 其中 $A(r)=\frac{1}{2}log(2\pi )+log(r)$ (6)

为简单起见，作者在实验中把 $r_{1...N}$ 都设置为 1，只让模型学习干扰项 $r_{N+1}$ 的长度尺度。

3.1.3 具有软聚类和软屏蔽的原型网络

把干扰项都归入一个簇的做法太简单，而且不符合实际。干扰项可能属于不同的类别。在实验中，作者从多个类别中采样得到干扰样例。

为了处理这个问题，作者提出了一种改进的变体。这是通过在未标记样例的贡献上加入软屏蔽（soft-masking）机制来实现的。随着无标签样例距离原型由近及远，屏蔽由少到多。更具体地说，修改软聚类优化过程如下：

首先，计算样例 ${\tilde{x}}_j$ 和原型 $p_c$ 之间的归一化距离 ${\tilde{d}}_{j,c}$：

${\tilde{d}}_{j,c}=\frac{d_{j,c}}{\frac{1}{M}{\sum }_j{d}_{j,c}}$ 其中 $d_{j,c}=||h({\tilde{x}}_j)-p_c|{|}_2^2$ (7)

然后，把 ${\tilde{d}}_{j,c}$ 的各项统计数据（最小值、最大值、方差、偏度、峰度）输入一个小型神经网络，来预测每个原型的软阈值 ${\beta }_c$ 和斜率 ${\gamma }_c$：

$[{\beta }_c,{\gamma }_c]=MLP\left(\left[mi{n}_j({\tilde{d}}_{j,c}),ma{x}_j({\tilde{d}}_{j,c}),va{r}_j({\tilde{d}}_{j,c}),ske{w}_j({\tilde{d}}_{j,c}),kur{t}_j({\tilde{d}}_{j,c})\right]\right)$ (8)

这样每个阈值可以利用簇内部变化量的信息，以确定应该删除多少无标签样例。

然后，通过与 ${\beta }_c$ 进行比较，计算每个样例对每个原型的贡献的软屏蔽 $m_{j,c}$：

${\tilde{p}}_c=\frac{{\sum }_{i}h(x_i)z_{i,c}+{\sum }_{j}h({\tilde{x}}_j){\tilde{z}}_{j,c}{m}_{j,c}}{{\sum }_i{z}_{i,c}+{\sum }_j{\tilde{z}}_{j,c}{m}_{j,c}}$，其中 $m_{j,c}=\sigma \left(-{\gamma }_c\left({\tilde{d}}_{j,c}-{\beta }_c\right)\right)$ (9)

其中 $\sigma (.)$ 是 sigmoid 函数。

训练时，模型可以使用式(8)中的多层感知机（MLP）来学习利用或完全忽略某些无标签样例。软屏蔽的使用使得这个过程完全可微。

最后，就像软聚类那样，虽然可以递归地重复进行优化，但作者发现单步优化已经足够。

4 相关工作

小样本学习，半监督学习，聚类。

5 实验

5.1 数据集

在三个数据集上评估模型性能，其中两个数据集是小样本分类基准数据集（Omniglot，miniImageNet），另外一个新的大规模数据集（tieredImageNet）希望对未来的小样本学习研究有用。

5.2 让数据集适应半监督学习

对于每个数据集，首先，新建一个额外的划分用于分开每个类别的有标签数据和无标签数据。

对于 Omniglot 和 tieredImageNet 数据集，每个类别的 10% 用于有标签数据，其余90% 用于无标签数据。

对于 miniImageNet 数据集，40% 用于有标签数据，其余 60% 用于无标签数据，因为作者发现 10% 的数据太少，不能达到合理性能，不能避免过拟合。

训练片段的构造过程如下：

• 从训练类集 $C_{train}$ 中随机采样 N 个类别（不重复）。
• 对于这 N 个类别：
• • 从每个类别的有标签数据中随机采样 K 个样例，构成支持集。
• • 从每个类别的无标签数据中随机采样 M 个样例，构成无标签集。
• • 从每个类别的有标签数据中随机采样固定数量的样例，构成查询集。
• 生成干扰项（可选）：
• • 从训练类集 $C_{train}$ 中采样 H 个其他类别。
• • 对于这 H 个类别，从每个类别的无标签数据中随机采样 M 个样例作为干扰项。
• • 把这些干扰项添加到上面的 N 个类别的无标签集，总共有 $MN+MH$ 个无标签样例。

测试片段的构造过程与此大体相同。

5.3 实验结果

表1：Omniglot 1-shot 分类结果。

表2：miniImageNet 1/5-shot 分类结果

表3：tieredImageNet 1/5-shot 分类结果

6 结论

【本期作者主页】https://blog.csdn.net/jieming2002