算法回顾:SVD在协同过滤推荐系统中的应用

协同过滤一般分为两大类:一类为基于领域(记忆)的方法,第二类为基于模型的方法,即隐语义模型,矩阵分解模型是隐语义模型最为成功的一种实现。隐语义模型最早在文本挖掘领域被提出,用于寻找文本的隐含语义,相关的模型常见的有潜在语义分析(Latent Semantic Analysis,LSA)、LDA(Latent Dirichlet Allocation)的主题模型(Topic Model)、矩阵分解(Matrix Factorization)等等。本文主要介绍的是矩阵分解中SVD相关的方法。

大纲

  1. 传统的SVD
  2. FunkSVD
  3. FunkSVD在协同过滤中的应用
  4. 基于SVD的其他改进方法

1. SVD简介

在推荐系统中,我们根据用户行为通常可以得到user-item的评分矩阵。由于每个用户可能只在少部分商品上有历史行为,因此评分矩阵往往是稀疏的,如下:

user\item item1 item2 item3 item4 item5 item6 item7
user1 3 5 1
user2 2 1 4
user3 4 3
user4 1 4 2

在推荐中,我们希望可以预测出用户对未评分商品的评分,从而将评分高的商品推荐给用户。矩阵分解就是解决该问题的其中一种方法。如果对SVD原理不了解的可以看看这篇博客强大的矩阵奇异值分解(SVD)及其应用,本文不详细介绍。

如果我们对user-item评分矩阵进行SVD分解,就可以得到:

其中是矩阵中较大的部分奇异值的个数,一般会远远的小于用户数和物品树。如果我们要预测第个用户对第个物品的评分,则只需要计算即可。通过这种方法,我们可以将评分表里面所有没有评分的位置得到一个预测评分。通过找到最高的若干个评分对应的物品推荐给用户。到这里似乎很完美了,但是我们忽略了一个问题,传统的SVD要求矩阵是稠密的,因此为了让SVD解决该问题,我们需要对SVD进行缺失值填充。但是这样又会导致新的问题:

  • 矩阵太稠密计算复杂度高
  • 如何对缺失值进行填充

2. FunkSVD

为了解决上述传统SVD的问题,FunkSVD被提出,这种改进算法称为隐语义模型或潜在因素模型。该方法只将矩阵分解成2个矩阵——用户隐含特征组成的矩阵和项目隐含特征组成的矩阵:

其中表示隐特征的数量,为矩阵,表示用户特征向量;为矩阵,表示物品特征向量。那么用户对用户的预测评分为:

2.1求解

求解方法是将问题转化为最小化误差函数,目标函数为:

目标

2.2优化方法

最常用的两种优化方法:随机梯度下降(SGD)和最小二乘(ALS)。通常SGD比ALS(Alternating Least Squares)简单而且快速;但是ALS的并行性能比较好,而且可以较好地处理稀疏数据,spark的实现方式就是ALS。

随机梯度下降

分别对和求导:


那么,的迭代公式为:

ALS

同样通过求偏导的方法,并令偏导等于0,可以得到


先固定,通过公式(1)求解;再固定,通过公式(2)求解;直到收敛。

3. FunkSVD在协同过滤中的应用

最后得到, 后,可以通过4种方式进行推荐:

  • 直接使用
  • 基于user-based推荐
    先通过计算出相似用户,然后再推荐相似用户评分高的物品
  • 基于item-based推荐
    先通过计算出相似物品,然后再根据该用户的历史行为推荐相似物品
  • 基于主题的推荐(可能这种叫法不对)
    这个有点类似于LDA, 通过可以得到用户最显著的隐特征,然后推荐在该隐特征上表现明显的商品。

4. 基于SVD的其他改进方法

Bias-SVD

用户对物品的评价有些因素与用户的喜好无关,而只取决于用户或物品本身特性。例如,对于乐观的用户来说,它的评分行为普遍偏高,而对批判性用户来说,他的评分记录普遍偏低,即使他们对同一物品的评分相同,但是他们对该物品的喜好程度却并不一样。同理,对物品来说,以电影为例,受大众欢迎的电影得到的评分普遍偏高,而一些烂片的评分普遍偏低,这些因素都是独立于用户或产品的因素,而和用户对产品的的喜好无关。
Bias-SVD把这些独立于用户或独立于物品的因素称为偏置(Bias)部分,将用户和物品的交互即用户对物品的喜好部分称为个性化部分。偏置部分由3部分组成:

  • 训练集中所有评分记录的全局平均数, 该值为常数
  • 用户偏置bu
  • 物品偏置bi
    则偏置部分为:

    将加入目标函数,则变成:

SVD++

SVD++算法在Bias-SVD算法上增加考虑了用户的隐式反馈。
对于某一个用户,它提供了隐式反馈的物品集合定义为,这个用户对某个物品对应的隐式反馈修正的评分值为,表示为那么该用户所有的评分修正值为,则加入了隐式反馈以后的优化目标函数J(p,q)是这样的:


其中,引入是为了消除不同个数引起的差异。如果需要考虑用户的隐式反馈时,使用SVD++是个不错的选择。

参考资料

  • 矩阵分解技术
  • 协同过滤推荐之 矩阵分解模型
  • FunkSVD 原博客Try This at Home
  • 矩阵分解在协同过滤推荐算法中的应用

你可能感兴趣的:(算法回顾:SVD在协同过滤推荐系统中的应用)