FINT, CIKM2021, 基于field进行高阶特征交叉

FINT: Field-aware INTeraction Neural Network For CTR Prediction

0. Reference

Zhao, Zhishan, et al. "FINT: Field-aware INTeraction Neural Network For CTR Prediction." arXiv preprint arXiv:2107.01999 (2021).

1. Motivation

一方面，高阶特征交叉被较少的模型注意到；

另一方面，高阶特征交叉可能会降低低阶特征交叉的效果。

2. FINT

fint.jpg

2.1 Embedding layer

样本的初始化向量表示为，每一个都是维embedding向量。

2.2 Field-aware interaction layer

FINT的特色在于为每一个field维持一个特殊的交叉向量，从而可以进行更高阶的交叉。

一共堆积个interaction layer，每一个layer包含两个步骤：

（1）Hadamard product

每一个layer的输入都是上一步的向量表示，为所有的与两两计算Hadamard product。

（2）Channel-wise weighted sum pooling

,

是要学习的参数，是数值。加上是为了防止学习崩塌，加上了residual。

也就是当前每一步都是上一步的每一个向量与原始输入的每一个向量做element-wise product。

, 表示矩阵乘，，是residual连接的参数。

2.3 DNN layer

然后将所有field第层的向量表示拼接，接入传统的DNN。

3. Experiment

fint_exp.jpg

论文实验显示效果可以比肩甚至超过xDeepFM。

论文的做法与DCN很像，只不过DCN是所有embedding拼接在一起，FINT是分成每一个field分别计算。