L0-SIGN，AAAI2021, 基于图建模稀疏的交叉特征

Detecting Beneficial Feature Interactions for Recommender Systems

0. Reference

Su, Yixin, et al. "Detecting Beneficial Feature Interactions for Recommender Systems." Proceedings of the 34th AAAI Conference on Artificial Intelligence (AAAI). 2021.

1. Motivation

特征交叉（feature interactions)在推荐系统等深度学习模型中非常重要，比如 FM (常见深度学习点击率预估模型) 会对所有输入的field两两交叉；有一些论文表明，存在一些特征交叉，引入它们会到引入噪声并且导致模型效果下降。

所以去除一些不必要的特征交叉是有意义的。

一般来说，有两种途径。一种是从对特征交叉中自上而下地去除一些不重要的组合（ AutoFIS ）。另外一种就是本文要介绍的，自下而上地发现有意义的特征组合。

处理组合问题一个很好的数据结构就是图。

2. L0-SIGN

image

对于一条样本，论文将该样本所有的特征当成图的顶点，学习一个图，，。用图中有没有边来表示两个顶点之间有没有交叉，边的权重表示特征交叉的重要性。

2.1 L0 Edge Prediction Model

定义一个 (edge prediction)函数，对于两个顶点与，其用于判断是否存在边的向量表示分别为与，

。

论文的实验中给出的是，

，表示element-wise product。

训练过程中对加上正则，得到。

2.2 Interaction

定义来衡量顶点与的交叉关系，是embedding的维度, 。这样可以用来更新每个顶点。

论文的实验中给出一个示例，

，与形式类似，只不过得到是，是数值；得到的是新的向量表示。

2.3 Aggregation for node

对于一个顶点，使用线性函数来聚集其邻居节点。

2.4 Mapping vectors to scalar

对于更新之后的顶点向量表示，使用线性加权函数转换成数值。

2.5 Aggregation for graph

使用线性汇聚函数来汇聚整个图的所有顶点的数值，得到最终的输出：

2.2 Loss function

表示的概率，表示的输出。

损失函数是模型的预测损失加上L1损失与L2损失，L1损失让图更稀疏。