MoCo论文精读

要点一

1.loss有几种:
生成式loss、判别式loss、对比学习loss、对抗loss
前两者是会不变的
第三种是会改变的
第四种是两个概率分布之间的差异
2.pretext 任务
和对比loss很像

要点二

多类不能用 softmax 所以提出 NCE loss
和cross-entropy loss 很像 = infonce
只有k不一样,第一个k的是全部数据,第二个是所有样本数目

要点三

1.end-end:
mini-batch 太大,硬件需要太厉害,编码器可以一致更新
2.memory bank:
不需要太更新,但是可以很大,特征一致性上处理不好
3.MoCo:
综合上述,拓展性比第二个好,提供又一致字典又大的模型

你可能感兴趣的:(有意思的研究论文,深度学习,人工智能,机器学习)