对比学习

1、对比学习、度量学习、bert

自监督的度量学习

simclr moco swav

2、基于对比学习的推荐模型

微博：

粗粒度:娱乐

细粒度:刘德华

中间粒度：刘德华北京开演唱会（话题）

实践：

（1）提取中间粒度数据，如话题

（2）

推荐系统：

双塔实际上是对比学习的变体。

self-supervised learning for large-scale item recommendations

contrastive self-supervised sequential recommendation with robust augmentation

multi-sample based contrastive loss for top-k recommendation

方向：

一、超长用户兴趣建模-sim模型，ubr4ctr，eta模型

张俊林最看好的方向，魔改，如何从超长兴趣中找出和target最像的k个来

nlp走在最前面，已经证明了自监督能走通，bert。

何凯明 mae 最近很热

二、链路一致性 知识蒸馏

end to end user behavior retreval in click-through rate prediction model

知识蒸馏在推荐系统的应用

阿里妈妈ldm

三、特征embedding自适应 nis模型

谷歌nis：

1、强化学习进行资源分配

2、决策点：哪些特征值的分配空间，以及最优的embeddingsize是多大

neural input search for large scale recommendation models

3、amtl

最近效果的进展来自于两个方面：

a、模型容量、参数越来越大

b、预训练给了更多的数据

现在nlp最前沿，图像次之，推荐最垃圾

推荐的特性走预训练不好走通。