ContextNet：基于上下文信息优化特征Embedding的CTR模型

更多精彩内容欢迎关注公众号：缄默笔记

论文: ContextNet: A Click-Through Rate Prediction Framework Using Contextual information to Refine Feature Embedding

Link: https://arxiv.org/pdf/2107.12025.pdf

在NLP领域，通过embedding可以把word从离散空间映射到语义空间，早期阶段Word2vec、GloVe等算法，没有考虑上下文信息，每个word学习得到一个固定的embedding，对于一些多义词，在不同语境意思是不同的（如“苹果”，喜欢苹果手机、喜欢苹果香蕉），针对该问题，ELMO、Bert等算法，利用上下文信息动态预测embedding表示。

受此启发，利用上下文信息，逐层动态优化(dynamically refine)特征embedding向量，也是非常重要的。本文提出通过上下文信息动态优化特征embedding的CTR预估框架ContextNet，主要由两部分构成：

（1）Contextual embedding模块：对每个特征的上下文信息进行聚合

（2）ContextNet block：把上下文高阶特征交叉信息融入特征embedding，动态优化特征embedding；

详细解读见