不为人知的稠密特征加入CTR预估模型的方法

稠密特征一般是相对稀疏特征来说的，我们知道类别特征经过独热编码之后比较稀疏，比如类别 [‘小猫’，‘小狗’，‘小熊’，‘小猴’] 被独热编码后的数据结构为[[1,0,0,0],[0,1,0,0],[0,0,1,0],[0,0,0,1]]，可以看到这种数据很稀疏，但是像桌子的长度这种稠密特征数据一般就是 [3.4,2.6,8.9,6.7] 这种。一般针对类别特征都是通过词嵌入的方法把稀疏特征转化为稠密特征然后再输入到神经网络中，不然直接输入会导致维度爆炸等问题，那么怎样把稠密数据加入到CTR预估网络模型中呢？

常规方法

1. 如图 1 所示，把原始的稠密特征直接和全连接层进行连接不和通过词嵌入转化的类别稠密特征进行交叉：

                                                    

                                                                        ▲ 图1.  直接送入全连接

右边的类别特征经过词嵌入后每个类别特征都被映射成了一个向量，不同的类别向量之间经过交叉运算得到交叉特征。而左边的原始稠密特征不和类别特征进行交叉，直接和高阶的交叉特征进行拼接作为全连接层的输入。

2. 如图 2 所示，把原始稠密特征离散化，转换为离散特征，然后和原始类别特征都进行词嵌入，之后再进行特征交叉。此时可以发现，这样相当于原始稠密特征参加了特征交叉：

 

                                                                         

                                                                                          ▲ 图2.  离散处理

3. 如图 3 所示，对每个原始稠密特征x维护一个词嵌入向量e，然后把原始稠密特征和权重向量相乘得到最终的特征向量，相当于一个稠密特征映射成一个特征向量，之后和类别映射的词嵌入矩阵进行拼接。此时仍然可以发现，这样相当于原始稠密特征也可以和类别特征进行交叉特征提取：

                                                          

                                                              ▲ 图3.  稠密特征与embedding vector相乘

鲜为人知的Key-Value Memory方法

 

在ICMEW的一篇论文中提出了一种把Key-Value Memory [1] 应用到稠密特征处理上的方法，如图4所示，可以看到这个模型的输入是一个稠密特征q，输出是一个特征向量v，也就是实现了1维到多维的特征空间转换，那么具体看一下是怎样实现的。

                                           

                                                                  图4.  Key-Value Memory模型结构 [1]

向量v的计算是通过对每个embedding vector  vi 进行加权求和得到的，公式表示为 

                                                              

其中wi的计算为

                                                     

Ki的计算等于

                                                                         

其中要对q进行归一化。我的理解就是把一个稠密特征的值q映射成一个权重分布，再用这个权重分布去和维护的N个embedding vector加权求和，最后得到一个和词嵌入维度相同的向量v。得到向量v之后就和前面的方法一样，可以和类别特征进行特征交叉了。

总结

从上面几种方法可以发现，稠密特征要和词嵌入后的类别特征做交叉需要在同一个维度空间，也就是要把一维的稠密特征转化成和词嵌入维度相同的特征空间中，同时上面方法中的词嵌入矩阵相当于权重矩阵都可以进行优化学习。后续文章会有稠密特征加入CTR模型各个方法的具体实现代码，喜欢就关注一下吧

 

参考文献

[1] Multi-modal Representation Learning for Short Video Understanding and Recommendation. ICME Workshops 2019: 687-690

                                                                                            

 

点击以下标题查看更多往期内容： 

 

原来CTR预估模型的发展有这样的规律