对比学习Contrastive Learning

对比学习是一种常用的自监督学习方法。

核心思想:把正样本距离拉近,正样本与负样本距离拉远。(类似度量学习中的margin, 但是对比学习为正负样本分类,无margin概念)

方式:通过一个正样本,以及k个负样本进行对比学习,研究表明K越大越好,可以取几万个。

优化问题:对于一个正样本,需要和k个负样本做分类,使模型分清楚哪些是正样本,哪些是负样本,用交叉熵即可。如下图

对比学习Contrastive Learning_第1张图片        对比学习Contrastive Learning_第2张图片

经典方法:

memory bank:利用instance 分类,即每一个图片是一个类别。如imagenet就有120万类&

你可能感兴趣的:(车牌识别,深度学习理论,对比学习,Contrastive)