推荐系统与深度学习(16)[iQIYI CIKN'21 short] FINT: 域感知交互(Field-aware Interaction)网络

以下仅仅为个人对文章的阅读记录，如有错误，欢迎指正。如需转载注明来源即可~~ （哈哈哈哈哈，点个赞再走）

Zhao Z, Yang S, Liu G, et al. FINT: Field-aware INTeraction Neural Network For CTR Prediction[J]. arXiv preprint arXiv:2107.01999, 2021.
原文链接：https://arxiv.org/pdf/2107.01999.pdf

一、简介与主要贡献

本文提出现在的高阶特征交互模型例如：WDL、DeepFM、xDeepFM，在高阶特征交互过程中，字段级别语义信息丢失。导致在后续的在线深度模型无法充分利用显式特征。【因为文中没有给具体的例子，所有我也没有怎么看明白这一点。】基于以上，本文提出了一个字段感知交互层来捕捉高阶特征交互，同时保留低阶字段语义信息。

Motivation原文

二、FINT 模型

整体模型分三层: Embedding layer，Field-aware interaction layer (Proposed)，DNN layer。Embedding layer和DNN layer 是所有CTR模型的常规操作。主要的贡献在中间的Field-aware interaction layer。

Field-aware interaction layer计算公式：

按照以下公式直接进行计算：

前半部分 是矩阵乘法。 是hadamard 积（按位相乘）。等式（3）是对等式（2）的矩阵计算。根据图中所说还有channel-wise weighted sum product，但是这里如何计算权重没有说，按照文中所说， 是权重矩阵，应该是直接学习的。不过没有通过sigmoid或者softmax进行约束。
后半部分对应图中的残差网络，添加了权重 是向量，维度为M*1，
【文中说 的维度是D*D, D是embedding的维度。但是根据 （embedding，M*D）的维度再结合上下文以及图中的示例，应该是M*M，M是Field的数量。】

Field-aware interaction layer 可以Stacked的结构，可以放多层，在实验部分进行了超参数分析。

三、实验分析

3.1 整体表现

【2021的文章的baseline还是2018年以及之前的文章。】

3.2 效率分析

时间复杂度

3.3 在线A/B测试

四、个人小结

提出的motivation没有怎么理解，不过给出的计算公式挺简洁的。可以很容易实现，有兴趣的可以试试。基于FNN就可以直接改了。
这个方法看上去和DCN有点类似，DCN是在位级别的交互，而这里是vector级别的交互。