Momentum contrast for unsupervised visual representation learning（MoCo)简单讲解

1.前置知识：

Q:对比学习如何确定图片相似或者不同？
A:代理任务（Pretext task)人为的定义一些规则，说明哪些图片是相似的，哪些图像是不相似的
代理任务（instance discrimination）：从一张图片中经过（裁剪，数据增广等变化）得到两张处理过的图像，这两张图像是同一类的，数据集中的其他图片都不是同一类的（即imagenet中就有一百多万种类别）
momentum: $y_t=m\cdot y_{t-1}+(1-m)\cdot x_t$,调整m值大小，使得依赖当前输入还是不依赖当前输入，缓慢更新编码器，让字典中的特征尽量保持一致。

2.正文：

对比学习看作字典查询任务，动态字典（有着队列和移动平均编码器）

q 和字典：[k0,k1,k2,…,kn]

目标是构建一个又大又一致的字典！
对比损失函数：判别式（预测8个位置），生成式（重建整张图）

3.损失函数

希望同一个类靠近，不同类远离，考虑softmax,类别数太多，计算复杂度太高，
NCE Loss:noise contrastive estimation：将类别分别正的和负的两类，从负的中选取一些类出来。温度超参数的选择控制分布的大小（更加平滑还是更加陡峭）

4.实验效果

在voc上的效果更好

在在训练时间较少时，MoCo优于有监督的方法。