10.无需负样本的自监督学习 BYOL

论文:https://arxiv.org/abs/2006.07733
讲解:https://www.zhihu.com/question/402452508/answer/1293771636

(2020年6月13日提交)

• 无需负样本的自我监督学习
• 不易受批次大小和数据增强的影响
• 比传统的对比度学习与ImageNet分类等准确率更高。
  DeepMind提出了一种新的自监督学习方法Bootstrap Your Own Latent(BYOL).自监督学习是无监督学习的一种，它是一种标在这种类型的学习中，教师是由输入数据本身创建的，而不使用自我监督学习。例如，自监督学习可以通过隐藏一部分图像数据，并对未隐藏的部分图像数据作为输入进行预测，从而学习图像的表示。

在传统的著名模型如SimCLR和MoCO中，数据上的Augmentation称为Anchor，同一数据上的另一个Augmentation称为Positive sample，而另一个图像上的Augmentation则称为我们通过将锚的预测靠近正样本的预测，远离Neagtie样本的预测，来学习负样本的表示。相比之下，本文采用

不使用负样本的方法

建议：那么，为什么不用负样本比较好呢？ 这是因为不使用负样本，原本需要的各种创新，如大批量、使用记忆库等，就不再需要了，使学习变得更容易。

与其他方法相比，这种方法的另一个优点是对图像增强的类型不太敏感。因此，在对学习到的数据表示进行分类时，它比最先进的方法SimCLR更容易学习，也更准确。下图是神经网络中参数数量和ImageNet top-1分类精度的比较。从下图可以看出，与SimCLR相比，BYOL实现了非常高的精度。这也表明，与监督学习基线相比，在大量参数的情况下，准确率几乎相同

Motivation
本文发现了一个特别好玩的现象:

• 首先随机初始化一个网络, 不训练 (它的准确率是 1.4%, 相当于瞎猜), 直接用它当做 target network
• 然后训练另外一个网络 online network, 让这个网络去贴近 target network, 当训练结束的时候, online network 的准确率竟然达到了 18.8%.
  这个实验是这篇文章主要的 motivation, 确实很有意思.

很神奇,还没看懂,等我看看代码再写
ps:看完代码还是觉得很神奇,等我跑一下再写