InfoNCE loss与交叉熵损失的联系，以及温度系数的作用

在文章《对比学习（Contrastive Learning），必知必会》和《CIKM2021 当推荐系统遇上对比学习，谷歌SSL算法精读》中，我们都提到过两个思考：

（1）对比学习常用的损失函数InfoNCE loss和cross entropy loss是否有联系？

（2）对比损失InfoNCE loss中有一个温度系数，其作用是什么？温度系数的设置对效果如何产生影响？

个人认为，这两个问题可以作为对比学习相关项目面试的考点，本文我们就一起盘一盘这两个问题。

 

 

上述公式细节详见：NCE loss 

另外，我们看下图中MoCo的伪代码，MoCo这个loss的实现就是基于cross entropy loss。