文章名称
【CIKM-2021】【Gaoling School of Artificial Intelligence】PSSL- Self-supervised Learning for Personalized Search with Contrastive Sampling
核心要点
文章旨在解决现有个性化搜索场景下数据稀疏导致用户嵌入表示不够精确，排序模型性能受粗糙用户表示影响而性能下降的问题。提出利用对比学习的方式增强表示学习的能力，采用对比抽样方法从查询日志中的用户行为序列中提取成对自监督样本，并设计了四个辅助任务来预训练seq2seq排序模型，以缩小相似用户序列、查询和文档之间的距离。
上一节介绍了PSSL方法的研究背景和解决问题的基本思路，并介绍了PSSL方法的基本框架，本节继续介绍各个组成部分的细节。
方法细节
问题引入
如前所述，作者提出自监督的个性化搜索学习框架，PSSL，分为两个阶段，其整体框架如下图所示。
- 第一阶段。作者利用self-contrastive sampling方法和user-contrastive sampling生成自监督样本。前者针对单个用户，从查询日志中构造对比样本，而后者从不同用户中提取对比样本。基于这2种对比角度，作者构造了4种类型对比样本，即查询对，文档对，序列增强对，和用户对。并基于此，学习查询encoder和序列encoder。
- 第二阶段，利用查询encoder和序列encoder来增强个性化搜索，在排序任务上进行fine-tuning。
那么，各个阶段究竟如何建模呢？
具体做法
ranking model
首先，看一下作者使用的排序模型的细节。如前所述，个性化搜索需要学习两种表示，一种是query和文档的语义表示，另一种用户行为历史表示。对应的作者提出了sentence encoder和sequence encoder。原始输入经过嵌入层之后（用户历史也是把文档和query的文本embedding输进去，这里可以是直接pooling或者sequential的建模），query被分别送sentence encoder和sequence encoder，得到用户级别的查询意图（作者称之为query-aware intention，其实就是条件概率）以及query和文档交互后的语义表示（整体流程参见framework右侧）。
sentence encoder
用户的query通常很短且模糊不清[8, 27]，并且文档内容中有许多无关紧要的短语，因此必须学习准确语义表示，具体公式如下图所示。
其中表示sentence encoder，作者选择Transformer encoder[32]作为具体实现，上标表示句向量是通过所有词的最后隐层输出得到的（不是[CLS]）。
sequence encoder
个性化搜索依赖于用户的历史兴趣，因此需要学习有效的用户表示。动态的用户表示比静态的用户表示更能提升模型性能[12, 28]，因此作者把用户搜索历史和当前query拼接在一起得到，通过sequence encoder 学习用户表示。
由于用户兴趣分为long-term和short-term两种，分别表示长期固有需求和短期兴趣。因此，作者采用一种hierarchical transformer结构。**值得注意的是，为了反映短期兴趣与查询的关系，作者在（短期transformer）的输入中加入了query 以及一个作为输出标识的。上标表示输出向量是最后一个隐层，最后一个位置的隐向量(所以两层的最终输出是那个位置最后的隐向量 和 的最后一个位置的隐向量）。
ranking score
如前所述，排序的相关性得分分为2部分，
- personalized relevance。作者利用文档和用户表示，经过相似度函数（作者用cosine），得到。具体公式如下图所示。
Pscore- ad-hoc relevance。作者利用文档和query表示，经过相似度函数（作者用cosine），得到一部分相似分。此外，作者也做了显示特征工程，包括点击特征，主体特征和神经匹配特征，传一个MLP 得到另一部分得分。最终，另一个MLP融合两部分得分，得到。具体公式如下图所示（**这里感觉作者的notation差点意思，2个应该用不同的符号表示）。
Ascore
上述模型其实只是通常用到的搜索排序模型的某一种实现，下一节介绍作者提出的4中用来预训练的自监督方法。
心得体会
个性化搜搜
个人感觉，搜索的要点是把用户心中的那个答案排在首位。此时，里的首位其实很重要，不像推荐中，一个session用户可能点击多个，因为用户目的明确。
此外，不同搜索场景，用户点击的数量也有较大差别。例如垂直场景，基本就点1到2个。信息流或资讯类搜索，可能点击多个。这些都影响搜索模型的设计和数据构造。从纯CTR和CVR的角度，如果够准确，展示越少反而能够提高这两个指标。
query是搜索中相比推荐的最大优势（其实应该说是区别），一般都会被重点对待。但个性化时，也必须结合用户偏好和行为。毕竟同一个问题，不同人问是不同的意思。query和用户特征交互有很大作用。
文章引用
[6] Wei-Cheng Chang, Felix X. Yu, Yin-Wen Chang, Yiming Yang, and Sanjiv Kumar. 2020. Pre-training Tasks for Embedding-based Large-scale Retrieval. In ICLR. OpenReview.net.
[8] Steve Cronen-Townsend and W Bruce Croft. 2002. Quantifying query ambiguity. In Proceedings of the second international conference on Human Language Technology Research. Morgan Kaufmann Publishers Inc., 104–109.
[12] Songwei Ge, Zhicheng Dou, Zhengbao Jiang, Jian-Yun Nie, and Ji-Rong Wen. 2018. Personalizing Search Results Using Hierarchical RNN with Query-aware Attention. In Proceedings of the 27th ACM International Conference on Information and Knowledge Management (CIKM ’18).
[18] Xinyu Ma, Jiafeng Guo, Ruqing Zhang, Yixing Fan, Xiang Ji, and Xueqi Cheng. 2021. PROP: Pre-training with Representative Words Prediction for Ad-hoc Retrieval. In WSDM. ACM, 283–291.
[27] Craig Silverstein, Hannes Marais, Monika Henzinger, and Michael Moricz. 1999. Analysis of a very large web search engine query log. In ACm SIGIR Forum, Vol. 33. ACM, 6–12.
[28] Yang Song, Hongning Wang, and Xiaodong He. 2014. Adapting deep ranknet for personalized search. In WSDM’2014. ACM, 83–92.
[32] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Łukasz Kaiser, and Illia Polosukhin. 2017. Attention is all you need. In Advances in neural information processing systems. 5998–6008.
[38] Xu Xie, Fei Sun, Zhaoyang Liu, Jinyang Gao, Bolin Ding, and Bin Cui. 2020. Contrastive Pre-training for Sequential Recommendation. CoRR abs/2010.14395 (2020).
[42] Kun Zhou, Hui Wang, Wayne Xin Zhao, Yutao Zhu, Sirui Wang, Fuzheng Zhang, Zhongyuan Wang, and Ji-Rong Wen. 2020. S3-Rec: Self-Supervised Learning for Sequential Recommendation with Mutual Information Maximization. In CIKM. ACM, 1893–1902.