2018RecSys-TransFM-Translation-based Factorization Machines for Sequential Recommendation

作者以及单位

Rajiv Pasricha和Julian McAuley
UC San Diego加州大学圣地亚哥分校
注：这篇文章（下面简称2018）需要和这个第二作者的在2017recsys发表的这个文章：Translation-based Recommendation（2017recsys最佳论文奖，下面简称2017）一起看。

解决问题

2017解决的核心问题是：序列推荐的问题。序列推荐的目的是基于用户的历史行为序列去预测用户将来的行为。序列推荐的主要挑战是对用户、她之前访问过的项目和下一个要消费的项目之间的“三阶”交互进行建模。

One classical setting is predicting users’ personalized sequential behavior (or ‘next item recommendation), where the challenges mainly lie in modeling ‘third-order’ interactions between a user, her previously visited item(s), and the next item to consume.

然后作者例举了一些解决这三者（用户user，过去item，未来item）之间关系的现有的方法，如可扩展的张量分解方法--个性化马尔可夫链（FPMC），作者觉得类似工作不错，但是不够好（不好的原因，我理解是这些工作分开处理了这些变量，而这些变量之间本身是有联系的，原文如下）

However, these works still adopt the framework of modeling the user preference component and
sequential continuity component separately, which may be disadvantageous as the two components are inherently correlated.

那么2017年工作的贡献（与之前的工作主要区别是）：
1.只用一个模型来模拟用户，物品之间的三阶交互（解决FPMC模型合并的问题），还借鉴知识图谱中的思想提出了物品到物品之间的推荐。
2.可以从隐式假设度量中获益（这3点都在introduction最后罗列了，但是这第二点没有看明白）
3.用户的翻译向量采用了全局翻译向量和个性化的翻译向量之和。一定程度上解决了用户的冷启动和维度和过度拟合的诅咒（就是feature太对，分类性能下降）。

模型核心

TransRec 模型将电影《misssion impossible1》embedded到“翻译空间”（transition space），图中显示了三个用户，u1表示就想看mission所有系列，u2想看汤姆克鲁斯的戏剧性电影，而u3想看类似的动作电影。物品作为一个点被嵌入到翻译空间内，用户的序列行为则作为一个翻译向量存在于该空间，然后，通过个性化翻译操作捕获前面提到的三阶交互，其基本思路就是用户的翻译向量和上一个行为物品的翻译向量之和，确定下一个有行为的物品j，如下所示（其实核心原理我理解是这么简单，核心问题大概是一页纸就能够说清楚的事情（可能比较片面），剩下的篇幅都是对模型出现的状况进行调整）：

向量图

研究动机

2018年的研究动机是将要FM应用在序列推荐中，这样做的好处是使用简单的模型对复杂的交互之间进行建模并能取得不错的效果。

研究方法

2018年的方法是基于2017年的优势（即仍然不是孤立看待向量，是关注他们的相互作用），对于每个特征i，模型学习两两部分：一个低维的embedding向量 和一个翻译向量,特征之间的交互强度使用平方欧几里德距离来进行计算，在上图中，展示了user，item，time的embedding特征和翻译向量，交互行为之间的权重由起始点和结束点之间的平方欧几里德距离进行计算。与FM一样，TransFM可以在参数和特征纬度的线性时间内进行计算，从而有效的实现大规模数据集的计算。

创新点

TransFM使用平方欧几里德距离替换FM中的内积计算，并用embedding 向量和翻译向量之和表示特征的向量，其公式如下：

TransFM

使用平方欧几里德距离替换内积的好处是：提高模型的泛化能力，更有效的捕获embedding之间的传递性。比如(a,b)，(b,c)之间有很高的交互权重，那么(a,c)之间的相关性也会更强。距离计算方式为：

距离计算

结论

1.改变FM中的内积计算方式，使用平方欧几里德距离，提高了模型的泛化能力，和样本特征之间的传递性
2.在不改变模型结构的前提下，可以轻易将时间，地域或者其他内容特征加入到模型中，TransFM结合了TransRec 和 FM和优势，在大量，稀疏的数据集上取得了不错的效果。

参考

论文｜RecSys18-序列推荐模型 TransFM（Translation-based Factorization Machines for Sequential Recommendation）_Thinkgamer博客-CSDN博客