CIKM'21 FINT：基于特征域交叉的CTR模型

Title：FINT: Field-aware INTeraction Neural Network For CTR

Link：https://arxiv.org/pdf/2107.01999.pdf

点击阅读，更多精彩

01 概述

特征交叉组合在模型中非常重要，充分利用低阶和高阶特征交叉，可以进一步提升模型效果。目前存在两个问题：

高阶特征交叉未充分挖掘

现有的高阶特征交叉方法（Wide&Deep、DeepFM、XDeepFM等），在交叉过程中，忽视了低阶域层次（field-level）的语义信息

因此论文提出FINT模型(Field-aware INTeraction)，在进行高阶特征交叉的同时，保留低阶域信息。

02 模型

2.1 模型结构

FINT模型主要分为三部分：Embedding层、Field-Aware交叉层和DNN层。

2.2 Embedding层

2.3 Field-Aware交叉层

基于特征域（field-wise）进行交叉组合，与FM、XDeepFM类似，都是在向量级（vector-wise）交叉计算，可以叠加多层，实现高阶特征交叉组合。

2.4 DNN层

2.5 时间复杂度

03 实验

实验结果如下图：Avazu数据上，AUC略低于XDeepFM，但时间复杂度和单个epoch训练时间，明显低于XDeepFM。

训练过程中，每个epoch训练时长：

04 个人小结

DCN、DCN-V2是在元素级（bite-wise）交叉，FM、XDeepFM是在向量级（vector-wise），相比元素级交叉，向量级交叉更能保持embedding向量含义。XDeepFM中CIN网络，采用多个filter（类似CNN），对所有两两交叉结果进行加权求和，复杂度较高，FINT可以看作XDeepFM的简版，对两两交叉结果按行进行加权求和，从而最终输出维度与输入维度相同。

更多精彩：

【1】2021年「顶会论文」特征交叉相关CTR模型汇总

【2】CIKM'21 FINT：基于特征域交叉的CTR模型

【3】XCrossNet：面向特征结构学习的CTR模型

【4】CIKM'21 DESTINE：基于解耦自注意网络的CTR模型