文章分享《MAML is a noisy contrastive learner in classification》

MAML is a noisy contrastive learner in classification

作者：

1. Chia-Hsiang Kao
2. Wei-Chen Chiu
3. Pin-Yu Chen

时间：2022
期刊：ICLR

---

ABSTRACT总结：

• Model-agnostic meta-learning (MAML)的不足：
  文中认为，内循环和外循环的结构使MAML专注于特定的学习任务，MAML的潜在学习目标仍然是隐含的，因此阻碍了对它的更直接的理解。（人话就是，作者认为现有文章对MAML的解释不足，通过这篇文章来解释）
• 文章提出的观点：
  1、MAML的思想类似于有监督的对比学习，拉近同一类的特征，拉远不同类的特征，文中验证了这种说法
  2、由于随机初始化和任务间的交互作用，MAML存在一个不受欢迎的干扰项，文中提出调零技巧（ zeroing trick），以减轻干扰（这目前还不能理解，继续往下看）。

---

INTRODUCTION总结：

人类能够在接受较少输入的情况下，很快的接纳新的事物与环境，即使没有类似的经历。Meta-learning（元学习）就是希望机器能够具有这种能力。

什么是MAML？MAML是元学习的一种，在一个数据集上通过meta-training(元训练)根据目标任务进行模型构建，然后在另一个没有见过的数据集上采样测试验证模型性能。meta-training，在内循环网络中进行正常的参数更新，外循环网络根据内循环网络的参数进行更新（类似于动态训练和教师网络，很多双流模型都是采用的这种训练方法）。

文章中分析的草图如下图所示

总结来看，文中构建了一个双流网络（内循环和外循环），内循环的线性层网络参数与通常的网络参数更新不同，因为w0的初始化为零，所以文章通过另一种方法来更新W0。外循环的线性层网络参数是通过内循环的网络参数动态更新的，同样也是文中自定义的更新方法。最终要保证内循环和外循环两个网络对同一类的特征表征要相似，对不同类的特征表征要不相似，来更新卷积层，也就是特征提取网络的参数。

作者指出，本文有这三个创新点：

• 在分类中，MAML隐含地是一种SCL算法，噪声来自随机初始化线性层和跨任务交互。
• 基于余弦相似度分析，验证了MAML的内在对比性。
• 实验表明，应用归零技巧可以显著提高训练过程中的测试准确率，而在元测试中，应用归零技巧会显著提高测试精度。

---

文中的主要思想以及方法到这里其实就已经很清楚了，后面的内容多是实验细节和理论证明。

WHY MAML IS IMPLICITLY A NOISY SUPERVISED CONTRASTIVEALGORITHM？

PRELIMINARY: SUPERVISED CONTRASTIVE LEARNING

这一部分介绍了什么是Supervised contrastive learning（有监督的对比学习）。通常对比学习讲的是一个正样本对与多个负样本对之间的关系，而有监督的对比学习的讲的是一个数据集中，对个正样本对与多个负样本对之间的关系。

PROBLEM SETUP

这一部分介绍了数据集设置和损失函数的设置，不做更多的讲述了。

INNER LOOP AND OUTER LOOP UPDATE OF LINEAR LAYER AND ENCODER

这一部分介绍了内循环和外循环线性层以及外循环编码器的参数更新方法，同样不做更多的讲述了。