推荐系统 DSSM

思路

主要看第一个reference

term向量降维

bag of words

但是在实际场景中，词典的大小将会非常大，如果直接将该数据输入给DNN，神经网络是无法进行训练和预测的。

word hashing

word hashing方法是用来减少输入向量的维度，该方法基于字母的n-gram
Word Hashing可以看做一种固定的线性变化。
作为DNN中的第一层

优点

英语单词的数量是无限的，但是letter n-gram经常是有限的
一个单词的不同变形在letter n-gram空间通常比较接近
基于word的表示很难处理新词，letter n-gram可以

缺点

这种方法的问题在于有可能造成冲突，但是冲突量很少

模型的学习/损失函数 [ 策略 ]

点击日志里通常包含了用户搜索的query和用户点击的doc，可以假定如果用户在当前query下对doc进行了点击，则该query与doc是相关的。通过该规则，可以通过点击日志构造训练集与测试集。

这里的D如何表示 所有的文章的word-hashing累加而成？

实现细节

为了防止过拟合，将数据切分为训练集和验证集，且二者没有交集。
梯度下降时使用小批量（1024个样本）随机梯度下降算法。

主要贡献

在3个方面扩展了之前的隐语义模型。

使用点击数据来训练参数 [建模]
使用深度学习框架，将线性语义模型扩展到非线性 [算法]
使用基于letter n-gram的word hashing技术，可以将模型应用到很大的词汇表数据中 [处理细节]

reference

知乎 DSSM