推荐系统之矩阵分解模型注（三）

这个看起来高大上的系列注解文章，到这个阶段便是最重要的部分了。有人说，人工智能就是概率论与统计学，实际上我也认为差不多，代码只是实现人工智能的工具，内部的原理是概率论的知识。

科普篇 | 推荐系统之矩阵分解模型

原理篇 | 推荐系统之矩阵分解模型

实践篇 | 推荐系统之矩阵分解模型

 

---

1 残差平方和

1.1 残差

所谓残差，就是实际值与估计值的差。百度百科说，如果回归模型正确的话， 我们可以将残差看作误差的观测值。

1.2 残差平方和

在平时我们求回归方程的时候，不会每一个点都在回归方程上，因为我们需要用连续的平滑曲线模拟趋势，从而将坐标上的离散点联系起来。也因此，我们将离散点看做真实值，将回归曲线上的点看做预测值，预测值与真实值的差的平方就是残差平方，再将他们加起来，最终得到的结果就是残差平方和。

用矩阵形式表示的残差平方和为：

一组数据的残差平方和越小，说明该曲线拟合程度越高

 

2 最小二乘法与交替最小二乘法

2.1 最小二乘法

最小二乘法是一种方法，用于由已知求未知，并且这些求得的数据与实际数据之间的误差平方和最小。根据我们上述说的，其实也就是求残差平方和最小的方法。

呃呃呃呃呃我看了许多文章，自以为写不出比这篇文章更通俗的解释，就把高手写的东西放在我这里以光门楣吧：

如何理解最小二乘法

2.2 交替最小二乘法

交替最小二乘法是用在矩阵计算中的一种算法。由于矩阵的计算量几乎完全依赖于矩阵的阶数，因此在计算矩阵的时候，能把矩阵分解成更小阶的矩阵的最好。

交替最小二乘法需要将一个低阶稀疏矩阵分解成两个小矩阵相乘，然后交替对两个小矩阵使用最小二乘法，便可以估算出稀疏矩阵缺失的值。

总的来说，交替最小二乘法是一种逼近算法。通过对低阶矩阵使用此方法，我们可以拟合出矩阵中的空元素，从而对矩阵进行填充。本文作为对矩阵推荐的注释文，不对交替最小二乘法的算法进行描述。如果想知道算法具体实现，请移步：交替最小二乘法的算法与实战