【论文阅读】自监督学习--NIPS2020：Bootstrap Your Own Latent (BYOL, DeepMind)

论文地址：https://arxiv.org/abs/2006.07733

开源代码：https://github.com/deepmind/deepmind-research/tree/master/byol

MoCo, SimCLR, CPC都是对比学习方法。

BYOL不需要负样本也能在ImageNet上取得74.3%的top-1分类准确率。BYOL使用两个神经网络，online网络和targets网络。online网络的参数设为θ，由三部分组成，编码器fθ，projectorgθ（Linear+BN+ReLU+Linear）和projectorqθ ；target网络与online网络有相同的架构，但是拥有不同的参数ξ。target网络提供回归目标训练online网络，但是target网络的参数ξ采用EMA（指数滑动平均）公式（与MoCo的动量更新公式相似）进行更新。公式为。

算法对比

 参考：对比学习系列（四）---BYOL_陶将的博客-CSDN博客_byol对比学习

• SimCLR中的MLP，每个线性层后都带有BN
• MoCo V2中的MLP，不使用BN
• BYOL中的MLP，只在第一个线性层之后带有BN

---

参考：

计算机视觉 - 自监督学习 - Bootstrap Your Own Latent (BYOL, DeepMind)_哔哩哔哩_bilibili

对比学习系列（四）---BYOL_陶将的博客-CSDN博客_byol对比学习

自监督模型---BYOL_木羊子羽的博客-CSDN博客_byol模型