矩阵分解介绍

在之前的文章中提到关于推荐算法中矩阵分解的部分算法，但是十分粗略。在这篇文章中想具体讨论一下矩阵分解的相关内容。

模型构造

定义矩阵表示m个用户对n个物品的评分，我们的目标是将分解成两个矩阵和使得，如下图所示。

矩阵分解

在这里，我们引入了一个新的变量，表示两个新矩阵的列数。因此对于中的每个元素，我们希望它会约等于两个向量的点乘的结果。从直观上看，这个模型假设每个中的每个评分结果都由个因素所影响，而和则表示有每个用户和物品对个因素的倾向。

这里假设表示用户对电影的打分，那么显然，每个电影都会关联到一个或多个分类上，那么每个用户也会对一些分类感兴趣或者不感兴趣。因此用户对电影的打分取决于用户喜好和电影类型的相似程度。那么问题来了，我们如何高效地搭建分类体系？对电影来说，包括演员、导演、语言、类型等等好多分类维度，这给手动搭建分类体系带来了极大的难度。

但是好在我们对协同过滤的直观解释是，如果用户A给电影C打了高分，用户B给电影C和D打了高分，那么用户A也有可能会给电影D打高分。他不需要进一步解释说电影C和D有什么可解释的相似性。这就让矩阵分解解决协同过滤有了用武之地，因为我们不需要让算法解释那个因素到底是啥。

扯远了，回到矩阵分解这个话题上。我们的目标是想最优化矩阵和的相似程度，所以，自然，目标函数为

其中，第一项是矩阵和之间的均方差，用来描述分解的两个矩阵与原矩阵的近似程度。第二项成为“正则项”，主要为了防止模型过拟合，减小模型的规模用。

在这里注意目标函数存在两个参数：和。因此在你打算优化目标函数之前，需要确定这两个参数(超参数)的值，可以用交叉验证法等一些方法去优化这两个参数，但是这些内容不在本文讨论的范畴内，接下来的算法都假定这两个参数已经确定下来了。

梯度下降

梯度下降是机器学习领域最优化问题的首选解决方法。这个方法原理很简单，随机赋给待学习的参数初始值并计算此时的目标函数，然后每一次迭代计算目标函数关于参数的梯度，并用其更新参数，直到目标函数收敛到最小值。当然，该算法只能保证收敛到局部最优，不能保证一定能收敛到全局最优。

但是一般不太会用梯度下降做矩阵分解，虽然他的优化效果挺好，但是，如果原始矩阵的维度特别大的话，需要优化的参数过多()。在实际的问题中，这个数量通常非常大，所以需要找到一个既能并行计算又能通过矩阵相关性质来提高算法效率的办法

交替最小二乘法(Alternating Least Squares, ALS)

再来看看矩阵分解的目标函数，其中，，如果我们给定P求最优的U，那么这个问题就变得简单了。

回忆线性回归里我们最优化使得最小，那么得到的的值为

ALS用的就是这种思想，它的一次迭代包含两步。在每次迭代，首先固定去求最优的，然后再固定去求最优的。由于每次固定一个矩阵后，求的另一个矩阵都是最优的，因此每一步迭代目标函数必定不会增加，直到收敛。和梯度下降法一样的是，该算法也只能保证收敛到局部最优。

由于每一次迭代包含两个步骤，所以在固定其中一个矩阵求另一个矩阵最优解的目标函数如下：

因此每次迭代求得的最优解为:

由于求每个时与无关，因此在这里可以并行计算。

SVD和矩阵分解

严格来说，SVD和之前提到的矩阵分解问题并不一样，它是将目标矩阵分为三个矩阵的乘积：, , ，使得

它比一般的矩阵分解问题来说约束更多：

• 是一个对角矩阵，值为的奇异值。一般来说这个奇异值在中按降序排列
• 和均为正交矩阵
• 它的解是唯一的

所以如果我们假设矩阵是用户和物品的打分矩阵(用户表示行，物品表示列)，这意味着：

• 和中的每行代表一个用户/物品的特征，例如，表示用户在第个分类上的喜好程度，表示物品在同样第个分类上的程度。
• 对于每个评分(的值)，都可以用一组互相独立的分类解释。对于某个用户和物品，分值的值等于，其中：
  • 表示第个用户的第个特征
  • 表示第个物品的第个特征
  • 表示第个特征对评分的影响力
    也就是说，每个评分代表着用户和物品，不同分类带不同权重的相似程度。
• 由于中的值是矩阵的奇异值按降序排列，所以可以很好的估计我们需要对用户和物品设置特征()的值

当然这种方法有两个问题

1. 计算复杂度略高
2. 原始矩阵不能有任何缺失值，但是在协同过滤中矩阵有大量数据缺失

缺失值处理

因为我们在矩阵分解之前和之后，只比较有值的元素，因此可以稍微修改一下目标函数:
其中

矩阵分解的应用

推荐物品

做矩阵分解其实我们并不只是想得到物品和用户的向量化表示，而是希望用它来给用户推荐最适合的商品。因此我们可以把用户矩阵和物品矩阵相乘得到填满所有未知元素的矩阵，它包含了所有用户对所有商品的评分。所以，可以根据矩阵，寻找用户还没见过的，且对其评分高的物品推荐给用户。而且，我们也可以利用的结果进行推荐的排序。

降维

有时候，矩阵分解并不是用于推荐，而是用于预处理高维的数据，降低数据的维度，之后再喂给其他训练模型中。它可以将高维稀疏的数据转化为低维的稠密数据，例如我们通过矩阵分解得到了用户和物品的向量化表示。另外，通过用户的向量化表示，我们可以用一些距离计算方法去求不同用户之间的相似程度。

参考资料

[1] How do you build a “People who bought this also bought that” style recommendation engine