论文阅读 （一）对比学习系列 MoCo and 从InsDisc到 SimSiam DINO

花了一个下午，看了b站沐神账号的两个视频，对对比学习也算是有了初步的了解了。

论文链接：
https://github.com/mli/paper-reading/

感觉kaiming大神还是强，从moco 到 simsiam，化繁为简，一切以简单有效为基准，从最初接触resnet到MAE,到今天看的对比学习的几个工作，风格好鲜明呀，最容易follow，less is more。

BYOL的作者也是刚，为了回复一篇BN在BYOL作用的博客，专门写了一篇论文回复质疑。

总结下来，对比学习的研究热度这两年兴起，随着ViT在CV界的火爆，对比学习热度逐渐下降，大都转向了Transformer了，尤其MAE的出现，transformer的研究热度更高，对比学习的研究进入了发展潜伏期。
transformer的多模态学习，看来也要接着学习起来了，期待对比学习在多模态学习领域的进一步融合发展呀！！！

一个下午简略过了一遍对比学习的发展史，元旦的最后一天假期，还是有点意义的。

下周开始接实验室项目收尾，然后开始攻克小论文专利。

对比学习讲解视频：
MoCo

video:
https://www.bilibili.com/video/BV1C3411s7t9?spm_id_from=333.999.0.0
专栏
https://www.bilibili.com/read/cv14463867?from=note

对比学习串烧
video:
https://www.bilibili.com/video/BV19S4y1M7hm?spm_id_from=333.999.0.0
总结笔记：
https://zhuanlan.zhihu.com/p/452087382

对比学习的应用和进一步学习：
https://blog.csdn.net/qq_39388410/article/details/113995410?spm=1001.2014.3001.5501

有时间再接着看，先屯着。