协同过滤——基于模型的算法

1 概述

基于模型的方法也叫做基于学习的方法，通过定义一个参数模型来描述用户与物品，用户与用户（或者物品与物品）之间的关系，然后通过优化过程得到模型参数。

基于模型的方法有一些优势：

• 可以捕获数据中的高层模式和趋势，对异常值有更高的鲁棒性，这将有助于得到更精确更稳定的推荐结果。
• 需要更少的内存空间。
• 参数都是离线学习的，在线的推荐过程会更快。

** 基于模型的方法可以分成2类：分解方法和自适应近邻学习方法。**

1.1 基于分解的方法

1.1.1 分解相似度矩阵：特征值分解

使用秩为n的矩阵W表示用户之间或者物品之间的相似度，然后通过用更低的秩k的Q来近似W：
$$\hat{W}=Q{Q}^T$$

求解因子矩阵Q等同于计算矩阵W的特征值分解：
$$W=VD{V}^T$$

1.1.2 分解评分矩阵：奇异值分解(SVD)

通过分解用户–物品的评分矩阵，同样可以解决冷启动和覆盖受限的问题。在这种方法中，一个$|U|\times |V|$的用户–物品评分矩阵R可以近似为$\hat{R}=P{Q}^T$，其中P是一个$|U|\times k$的用户因子矩阵，Q是一个$|V|\times k$的物品因子矩阵。

可以通过求解R的奇异值分解(SVD)来获得：

$$R=U\sum V^T$$

基于模型的协同过滤基本原理是，将用户对商品的评分矩阵A分解为2个（ALS）或者3个矩阵（SVD），然后就是这些矩阵相乘的结果，根据矩阵相乘结果与原有评分矩阵的误差作为损失函数计算优化。
SVD的基本原理见：【参考周志华《机器学习》P402】
!

SVD模型可以转换为一个基于相似度的方法，该方法认为用户$u$的画像由他评分过的物品隐式的决定，因此用户$u$的因子向量可以通过评分后的物品$j$的因子向量权重组合得到。这就是SVD++。除此以外还有FISM,NSVD等。

在SVD++的基础上再引入时间因子，可以进一步提高预测的准确度。

1.1.3 SVD、SVD++、时间敏感模型

这三个模型越来越复杂，引入的因子也在增多，所以准确性提升，但计算效率下降。

1.2 基于邻域的学习方法

最新研究表明，从数据中自动学习邻域相比于预定义相似度计算存在一些优势。

（1）稀疏线性邻域模型
一个典型的邻域–学习推荐模型是SLIM算法，一个新的评分可以被预测为：
$${\hat{r}}_{ui}=r_u{w}_i^T$$
其中向量$r_u$是评分矩阵R的第u行，向量$w_i$中的非零元素对应物品$i$的近邻集合。

SLIM的详细内容请P43或者见https://blog.csdn.net/weixin_39064571/article/details/78835939https://blog.csdn.net/weixin_39064571/article/details/78835939

（2）融入边信息的稀疏邻域模型
在当今互联网时代，用户的属性信息（如年龄性别LBS）或物品的描述信息更容易获取，这些信息可以被融入SLIM模型。

2 SVD与LFM

矩阵分解模型把用户和物品2方面的信息映射到一个维度为$f$的联合隐含义空间中，用户-物品之间的交互（评分）可由该空间的内积来建模。

2.1 基本原理

• 每一个用户$u$都与一个$f$维向量$p_u$相关联，每一个物品$i$都与一个$f$维向量$q_i$相关联。
• 给定一个物品$i$，$q_i$向量的每个维度值的大小代表了该物品具备这些因子的程度（例如电影的喜剧程度是5，科幻程度是1）。
• 给定一个用户$u$，$p_u$向量的每个维度值的大小代表了用户对这些因子的喜爱程度（例如对喜剧的喜爱程度是0.1，对科幻的喜爱程度是0.5）。
• 点积$q_i{p}_u^T$表示用户对物品的喜爱程度。

关于使用到的矩阵

• 用户对物品的评价矩阵是：$R=|U|\times |T|$
• 用户因子矩阵是：$P=|U|\times f$
• 物品因子矩阵是：$Q=|T|\times f$
• 预测的用户对物品的评分矩阵是：$\hat{R}=P{Q}^T$

2.2 计算逻辑及优化目标

具体而言，对于用户$u$对物品$i$的评分，我们可以这样计算：
$${\hat{r}}_{ui}=\mu +b_i+b_u+q_i^T{p}_u$$
其中前三项表示用户或者物品的基准预测。$\mu$表示整个评价区间的平均评分，$b_i$表示物品$i$和所有物品平均分的偏离，$b_u$表示用户$u$与所有用户平均分的偏离。
为了学习模型中的参数$b_i$、$b_u$、$p_U$、$q_i$，我们的优化目标为：
$$\min \sum (r_{ui}-\mu -b_i-b_u-q_i^T{p}_u{)}^2+\lambda (b_i^2+b_u^2+\Vert q_i{\Vert }^2+\Vert p_u{\Vert }^2)$$

2.3 优化方法

上述优化目标，一般可以使用随机梯度下降或者交替最小二乘法。

一种简单的优化算法是Funk推广的，该算法对训练数据中的所有评分做循环。对于给定的评分的预测误差记为：$e_{ui}=r_{ui}-{\hat{r}}_{ui}$，因此，对于每一个样本，我们可以通过朝着与梯度相反的方向来修正参数：
$$\begin{gathered} b_u\leftarrow b_u+\gamma (e_{ui}-\lambda b_u) \\ {b}_i\leftarrow b_i+\gamma (e_{ui}-\lambda b_i) \\ {q}_i\leftarrow q_i+\gamma (e_{ui}{p}_u-\lambda q_i) \\ {p}_u\leftarrow p_u+\gamma (e_{ui}{q}_i-\lambda p_u) \end{gathered}$$

2.4 关于SVD和LFM

SVD的基本原理见：【参考周志华《机器学习》P402】
!

奇异值分解有着广泛的用途，例如对于低秩近似问题，给定一个秩为$r$的矩阵$A$，要求的其最优的$k$秩近似矩阵$\hat{A}$，其中$k<<r$。
奇异值分解提供了上述问题的解释解：对矩阵$A$进行奇异值分解后，将矩阵$\sum$中的$r-k$个最小的奇异值置零获得的矩阵${\sum }_k$，即仅保留最大的$k$个奇异值，则：
$$A_k=U_k\sum _k{v}_k^T$$
就是最优解。

因此，可以通过SVD方式近似得到用户-物品评分矩阵。
但在实际工程中，SVD非常难解，所以会用梯度下降或者ALS的方法将矩阵分解成2个矩阵的相乘，这就是LFM。

3、SVD++

考虑隐式反馈信息可以增加预测准确度，这对于那些提供了大量隐式反馈而仅仅提供了少量显式反馈的用户尤为重要。

我们考虑2中情况：

• 用户没有独立的隐式反馈，此时可以通过考虑用户评分的物品（无需考虑评分值）来得到用户感兴趣的信息。
• 用户有独立的隐式反馈。比如租借了某些物品，搜索了某些物品，此时可以有多种的隐式反馈。
  我们以下分别介绍。

用户对某些物品有一些隐式反馈，我们可以在SVD的基础上，增加第二个物品因子，即为每一个物品$i$关联一个因子向量$y_i$，计算评分时：
$${\hat{r}}_{ui}=\mu +b_i+b_u+q_i^T(p_u+|R(u){|}^{-1/2}\sum _{j\in R(u)}{y}_i)$$
其中集合$R(u)$包含用户$u$评分的所有物品。也就是说用户$u$的喜爱因子程度被建模为：$p_u+|R(u){|}^{-1/2}{\sum }_{j\in R(u)}{y}_i$，其中$|R(u){|}^{-1/2}$用于规范化。

同理，我们使用与SVD类似的方法做优化求解各个参数：
$$\begin{gathered} b_u\leftarrow b_u+\gamma (e_{ui}-\lambda b_u) \\ {b}_i\leftarrow b_i+\gamma (e_{ui}-\lambda b_i) \\ {q}_i\leftarrow q_i+\gamma (e_{ui}(p_u+|R(u){|}^{-1/2})-\lambda q_i) \\ {p}_u\leftarrow p_u+\gamma (e_{ui}{q}_i-\lambda p_u) \\ {\forall }_j\in R(u):y_j\leftarrow y_j+\gamma (e_{ui}\ast |R(u){|}^{-1/2}\ast q_i-\lambda y_i) \end{gathered}$$

对于有多种隐式偏好的情况，模型可以调整为：

$${\hat{r}}_{ui}=\mu +b_i+b_u+q_i^T(p_u+|N^1(u){|}^{-1/2}\sum _{j\in N^1(u)}{y}_i+|N^2(u){|}^{-1/2}\sum _{j\in N^2(u)}{y}_i)$$

其中$|N^1(u){|}^{-1/2}{\sum }_{j\in N^1(u)}{y}_i$及$|N^2(u){|}^{-1/2}{\sum }_{j\in N^2(u)}{y}_i$表示用户的2中不同隐式行为。

4 时间敏感的因子模型

矩阵分解方法可以很好的对时间效应建模，这样可以提高预测结果的准确度。
回顾一下用户$u$对物品$i$的评分预测：

$${\hat{r}}_{ui}=\mu +b_i+b_u+q_i^T{p}_u$$
其中前三项表示用户或者物品的基准预测。$\mu$表示整个评价区间的平均评分，$b_i$表示物品$i$和所有物品平均分的偏离，$b_u$表示用户$u$与所有用户平均分的偏离，$ q_i^Tp_u$表示用户评分因子模型。

上述四项中，除了$\mu$相对稳定外（即使变化也可以离线重算一次），另外三项都与时间相关。一般而言，我们认为这3个随时间变化的数值由以下3部分组成：

• 一个基准不变值。
• 一个随时间线性或者非线性变化的近似。
• 一个局部的特定天的变化。

以$b_u$为例：
$$b_u(t)=b_u+{\alpha }_u\ast de{v}_u(t)$$
其中
$$de{v}_u(t)=sign(t-t_u)\ast |t-t_u{|}^{\beta }$$
这部分也可以表示为非线性的形式。
$b_i$与$ q_i^Tp_u$也类似。于是预测模型调整为：
$${\hat{r}}_{ui}=\mu +b_i(t_{ui})+b_u(t_{ui})+q_i^T(p_u(t_{ui})+|R(u){|}^{-1/2}\sum _{j\in R(u)}{y}_i$$