【对比学习】Momentum Contrast for Unsupervised Visual Representation Learning

        本篇论文是一篇采用对比学习的无监督视觉表征学习。对比学习是将数据中的某一个数据及其增广数据作为正样本，剩余数据作为负样本，通过缩小正样本之间的距离，扩大正负样本之间的距离来学习数据特征，为下游任务提供了良好的特征。

        正负样本的选择方法叫做pretext task，为自监督学习提供监督信号，进行自监督训练。文中的pretext task是采用的instance discrimination task，是把数据本身作为基准，数据的一个增广作为正样本，剩余数据作为负样本。

        MOCO是将对比学习看做一个字典查询任务，将数据经过encoder得到特征，query和key的encoder可以是相同的，也可以是不同的，再根据query和key的相似度，来找到query所对应的正样本。字典需要具有large和consistent性质，也就是字典中的key要多，这样能表达丰富的视觉信息，而key应该由相同或者相似的encoder生成。

        为了使训练的batch和字典的大小互不影响，作者采用了一个queue代替字典来存储key，queue是采用先进先出策略，每个batch经过forward得到的特征，存储在队列的最后，最前的batch的特征被移出去，保证了queue的长度一定，文中queue的长度大概是六万多。

        为了使queue中的key具有一致性，采用动量学习方法。文中query和key的encoder的参数初始化是一样的，通过InfoNCE损失函数式(1.1)来更新query对应的encoder的参数，而key所对应的encoder的参数是通过动量来更新的，如式(1.2)所示，m一般设置为0.999，这样可以保证参数变化较小，从而保证queue中的key的一致性。