【计算机视觉】BYOL 讲解

BYOL

论文信息

标题:Bootstrap your own latent: A new approach to self-supervised Learning

作者:Jean-Bastien Grill

期刊:NeurIPS 2020

发布时间与更新时间:2020.06.13 2020.09.09 2020.09.10

主题:计算机视觉、对比学习

arXiv:[2006.07733] Bootstrap your own latent: A new approach to self-supervised Learning (arxiv.org)

代码:deepmind-research/byol at master · deepmind/deepmind-research · GitHub

模型

受强化学习思想(Bootstrap,自我提升)的启发,考虑到之前研究的自监督方法的效果都依赖于精心设计的负样本(比如由大 batchsize 提供充足负样本、通过 Memory bank 保存足够多的负样本等等),作者提出了一种不使用负样本,通过迭代自我提升的训练方法(框架)—— BYOL,如图

你可能感兴趣的:(【NLP,&,CV】,计算机视觉,人工智能,机器学习,神经网络,深度学习,自然语言处理)