吴恩达机器学习----推荐系统

吴恩达机器学习教程学习笔记 （14/16）

吴恩达教授（Andrew Ng）的机器学习可以说是一门非常重视ML理论基础的课程，做做一些简单的笔记加上个人的理解。本笔记根据吴恩达的课程顺序，以每章内容作为节点进行记录。（共18章，其中第3章“线性代数回顾”与第5章“Octava教程”的笔记就不总结了）

第十六章 推荐系统(Recommender Systems)

1、推荐系统

例子
假设每部电影都有两个特征，如x₁代表电影的浪漫程度，x₂ 代表电影的动作程度。

则每部电影都有一个特征向量，如x⁽¹⁾是第一部电影的特征向量为[0.9 0]。
下面我们要基于这些特征来构建一个推荐系统算法。 假设我们采用线性回归模型，我们可以针对每一个用户都训练一个线性回归模型，如θ⁽¹⁾是第一个用户的模型的参数。 于是，我们有：
θ^(j)用户 j 的参数向量
x⁽ⁱ⁾电影 i 的特征向量
对于用户 j 和电影 i，我们预测评分为：(θ^(j))^T x⁽ⁱ⁾
代价函数
针对用户 j，该线性回归模型的代价为预测误差的平方和，加上正则化项：$$mi{n}_{\theta (j)}1/2\sum _{(i:r(i,j)=1)}(({\theta }^{(j)}{)}^T{x}^{(i)}-y^{(i,j)}{)}^2+\lambda /2({\theta }_k^{(j)}{)}^2$$其中 i:r(i,j)表示我们只计算那些用户 j 评过分的电影。在一般的线性回归模型中，误差项和正则项应该都是乘以1/2m，在这里我们将m去掉。并且我们不对方差项θ₀进行正则化处理。
上面的代价函数只是针对一个用户的，为了学习所有用户，我们将所有用户的代价函数求和：$$mi{n}_{({\theta }^{(1)},...,{\theta }^{(n_u)})}1/2\sum _{j=1}^{n_u}\sum _{i:r(i,j)=1}(({\theta }^{(j)}{)}^T{x}^{(i)}-y^{(i,j)}{)}^2+\lambda /2\sum _{j=1}^{n_u}\sum _{k=1}^n({\theta }_k^{(j)}{)}^2$$如果我们要用梯度下降法来求解最优解，我们计算代价函数的偏导数后得到梯度下降的更新公式为：$${\theta }_k^{(j)}:={\theta }_k^{(j)}-\alpha \sum _{i:r(i,j)=1}(({\theta }^{(j)}{)}^T{x}^{(i)}-y^{(i,j)})x_k^{(i)}(fork=0)$$$${\theta }_k^{(j)}:={\theta }_k^{(j)}-\alpha (\sum _{i:r(i,j)=1}(({\theta }^{(j)}{)}^T{x}^{(i)}-y^{(i,j)})x_k^{(i)}+\lambda {\theta }_k^{(j)})(fork̸=0)$$

2、协同过滤

对于每一部电影，我们都掌握了可用的特征，使用这些特征训练出了每一个用户的参数。相反地，如果我们拥有用户的参数，我们可以学习得出电影的特征。$$mi{n}_{({\theta }^{(1)},...,{\theta }^{(n_u)})}1/2\sum _{j=1}^{n_u}\sum _{i:r(i,j)=1}(({\theta }^{(j)}{)}^T{x}^{(i)}-y^{(i,j)}{)}^2+\lambda /2\sum _{j=1}^{n_u}\sum _{k=1}^n({\theta }_k^{(j)}{)}^2$$但是如果我们既没有用户的参数，也没有电影的特征，这两种方法都不可行了。协同过滤算法可以同时学习这两者。
我们的优化目标便改为同时针对x和θ进行:$$J(x^{(1)},...x^{(n_m)},{\theta }^{(1)},...,{\theta }^{(n_u)})=1/2\sum _{(i:j):r(i,j)=1}(({\theta }^{(j)}{)}^T{x}^{(i)}-y^{(i,j)}{)}^2+\lambda /2\sum _{i=1}^{n_m}\sum _{k=1}^n(x_k^{(j)}{)}^2+\lambda /2\sum _{j=1}^{n_u}\sum _{k=1}^n({\theta }_k^{(j)}{)}^2$$
对代价函数求偏导数的结果如下：$$x_k^{(i)}:=x_k^{(i)}-\alpha (\sum _{j:r(i,j)=1}(({\theta }^{(j)}{)}^T{x}^{(i)}-y^{(i,j)}{\theta }_k^j+\lambda x_k^{(i)})$$$${\theta }_k^{(i)}:={\theta }_k^{(i)}-\alpha (\sum _{i:r(i,j)=1}(({\theta }^{(j)}{)}^T{x}^{(i)}-y^{(i,j)}{x}_k^{(i)}+\lambda {\theta }_k^{(j)})$$
$$(min{)}_{(x^{(1)},...,x^{(n_m)})}1/2\sum _{i=1}^{n_m}\sum _{jr(i,j)=1}(({\theta }^{(j)}{)}^T{x}^{(i)}-y^{(i,j)}{)}^2+\lambda /2\sum _{i=1}^{n_m}\sum _{k=1}^n(x_k^{(i)}{)}^2$$注：在协同过滤从算法中，我们通常不使用方差项，如果需要的话，算法会自动学得。 协同过滤算法使用步骤如下：
1.初始 x⁽¹⁾,x⁽²⁾,…x^(nm), θ⁽¹⁾,θ⁽²⁾,…,θ^(n_u)为一些随机小值
2.使用梯度下降算法最小化代价函数
3.在训练完算法后，我们预测(θ^(j))^T x⁽ⁱ⁾为用户 j 给电影 i 的评分
通过这个学习过程获得的特征矩阵包含了有关电影的重要数据，这些数据不总是人能读懂的，但是我们可以用这些数据作为给用户推荐电影的依据。

3、向量化：低秩矩阵分解

例子
1.当给出一件产品时，你能否找到与之相关的其它产品。
2.一位用户最近看上一件产品，有没有其它相关的产品，你可以推荐给他。
我将要做的是：实现一种选择的方法，写出协同过滤算法的预测情况。
我们有关于五部电影的数据集，我将要做的是，将这些用户的电影评分，进行分组并存到一个矩阵中。
我们有五部电影，以及四位用户，那么 这个矩阵 Y 就是一个5行4列的矩阵，它将这些电影的用户评分数据都存在矩阵里：

Movie	Alice (1)	Bob (2)	Carol (3)	Dave (4)
Love at last	5	5	0	0
Romance forever	5	?	?	0
Cute puppies of love	?	4	0	?
Nonstop car chases	0	0	5	4
Swords vs. karate	0	0	5	?

推出评分：
找到相关影片：

现在既然你已经对特征参数向量进行了学习，那么我们就会有一个很方便的方法来度量两部电影之间的相似性。例如说：电影 i 有一个特征向量x⁽ⁱ⁾，你是否能找到一部不同的电影 j，保证两部电影的特征向量之间的距离x⁽ⁱ⁾和x^(j)很小，那就能很有力地表明电影i和电影 j 在某种程度上有相似，至少在某种意义上，某些人喜欢电影 i，或许更有可能也对电影 j 感兴趣。总结一下，当用户在看某部电影 i 的时候，如果你想找5部与电影非常相似的电影，为了能给用户推荐5部新电影，你需要做的是找出电影 j，在这些不同的电影中与我们要找的电影 i 的距离最小，这样你就能给你的用户推荐几部不同的电影了。

4、均值归一化

如果我们新增一个用户 Eve，并且 Eve 没有为任何电影评分，那么我们以什么为依据为Eve推荐电影呢？
我们首先需要对结果 Y矩阵进行均值归一化处理，将每一个用户对某一部电影的评分减去所有用户对该电影评分的平均值：

然后我们利用这个新的 Y 矩阵来训练算法。 如果我们要用新训练出的算法来预测评分，则需要将平均值重新加回去。
预测(θ^(j))^T x⁽ⁱ⁾+μ_i，对于Eve，我们的新模型会认为她给每部电影的评分都是该电影的平均分。
感谢黄海广博士团队的翻译和笔记
END