《User Diverse Preference Modeling by Multimodal Attentive Metric Learning》论文阅读

前言

在该论文中，作者提出了MAML模型，是一种基于多模态信息的度量学习方法，通过该方法学习用户对于不同物品所具有的不同的偏好特征。

---

一、Related Work

首先，论文介绍了相关的工作，主要分为三个部分：1. 用户偏好建模；2. 度量学习；3. 多模态。

1. Diverse preference modeling

在第一部分中，作者将前人的相关工作划分为两组：

1. 第一组是利用评论信息来分析每个用户对于目标物品的不同方面的注意力，并在获得注意力权重向量后将其集成于基于矩阵分解的推荐方法中。相关的模型有：ALFM，AFM，ANCF。
2. 第二组，对于一个目标商品，利用最具影响力的物品/用户（基于目标商品选取）对当前物品/用户的向量做出适应性调整。相关的模型有CMN，MARS，DIN。

2. Metric-based learning

在度量学习中，本文着重提到的模型为CML模型，该模型是通过欧式距离进行度量，最小化用户，物品之间的的距离（用户与物品是正向交互的）来学习各个用户、物品的向量。该模型取得很好的效果，在此基础上，作者提出的MAML模型针对CML模型中的一个问题（因为每个用户都具有很多的交互商品，每个商品都和很多用户具有交互，所以CML会倾向将所有向量映射到同一个点），提出了一个改进，在每一个用户物品对中加入一个权重向量（用于表示用户对于不同物品的偏好方向），进而也解决了CML中可能映射到同一个点的问题，因为权重向量会把用户向量，物品向量投影到另一个空间。

3. Multimodal user preference modeling

主要介绍的模型都是采用了多模态的数据，例如评论信息和物品的图片信息。

---

二、Proposed Model

在MAML模型中，主要的思路与CML类似，也是距离来度量学习结果，通过最小化加权的用户物品距离：如下图：

其中a ui为权重向量，p为用户向量，q为物品向量
这个d(u,i)就是新的度量距离，基于新的距离标准，第一个损失函数为：

w ui为一个惩罚系数（后面会提到），m为safety margin（人为设置）
其中i为u喜欢的物品，k为u不喜欢的物品
之后作者解释了权重向量的训练，模型中采用了两层的神经网络进行学习，公式如下：

其中F tv,i是评论+图像的融合向量，v是一个投影向量
得到的权重向量需要是用softmax进行归一化，但如果直接归一化后直接使用权重向量会得到很差的结果，是因为权重向量的每一维度的值都很小，而且用户向量和物品向量都做了正则化限制在一个单位球面中。这样的情况下，两个很小的值相乘会更小导致每一个维度的值偏差都不大，从而无法很好地学习用户的不同偏好特征。所以作者对权重向量的归一化进行了修改：

a为人为设置的值，f为权重向量的维数
通过a将权重向量的值进行了放大

再下一部分，作者介绍了物品特征的计算。对于每一个物品都使用了评论信息和物品图片信息。评论信息的特征通过PV-DM模型进行提取，图像特征通过Caffe reference model进行提取。

Ft,i Fv,i分别为文本特征向量和图像特征向量
最后的ZL为融合的向量
Ranking Loss Weight（这部分没有看太明白，好像是根据采样排序对学习的结果进行惩罚）

rankd代表物品i在用户u的rank列表中的位置
在WARP模型中，可以看到rank_d(u,i)的计算过程。

接下来就是正则化：一共列出两个正则化项，分别为：

第一个正则化项的想法是，在提取物品的多模态特征向量后，物品的表示应该和多模态向量表示相近（物品贴合自己的图像特征，评论特征，这很真实）。

第二个正则化项是协方差正则化，防止在特征空间中每一个维度具有冗余信息。

最终得到的目标函数如下所示：

---

三、个人感悟

感觉MAML主要是针对CML的一个改进，通过添加权重参数表示用户的不同偏好，加入多模态信息更好的表示物品特征。最后的结果对比中，MAML的结果普遍优于CML，但感觉没有预想的多，可能还可以进行一些改进。其中WARP模型部分还没有搞清楚，还需要再看相关论文。