【机器学习】课程笔记15_推荐系统(Recommender Systems)

问题规划（Problem Formulation）

• 例子： 我们是一个电影供应商，有5部电影和4个用户，要求用户为电影打分，推荐系统做的给用户推荐新电影，预测用户对新电影的评分。

  

  • $n_u$代表用户的数量
  • $n_m$代表电影的数量
  • $r(i,j)$如果用户j给电影$i$评过分则$r(i,j)=1$
  • $y^{(i,j)}$代表用户$j$给电影$i$的评分
  • $m_j$代表用户$j$评过分的电影的总数

基于内容的推荐算法（Content-Based Recommendations）

• 可以用线性回归的方法进行训练：

  • 为每部电影赋一个特征向量，例如用$x_1$表示电影的浪漫程度、用$x_2$表示电影的动作程度。则第一部电影的特征向量为$x^{(1)}=[0.90]$.

    

  • 针对每一个用户训练一个线性回归模型：

    • ${\theta }^{(j)}$是用户$j$的参数向量

    • $x^{(j)}$是电影$i$的特征向量

    • 对于用户$j$和电影$i$，预测评分为：$({\theta }^{(j)}{)}^T{x}^{(i)}$

    • 代价函数： ${\min }_{\theta (j)}\frac{1}{2}\sum _{i:r(i,j)=1}(({\theta }^{(j)}{)}^T{x}^{(i)}-y^{(i,j)}{)}^2+\frac{\lambda }{2}\sum _{k=1}^n({\theta }_k^{(j)}{)}^2$.

      预测误差的平方和加上正则化项，$i:r(i,j)$表示只计算用户$j$评分过的电影，在一般的线性回归模型中，误差项和正则项应该都乘以$\frac{1}{2m}$，这里将$m$去掉，且不对方差项${\theta }_0$进行正则化处理。

    • 为了学习所有用户，将所有代价函数求和：$mi{n}_{{\theta }^{(1)},...,{\theta }^{(n_u)}}\frac{1}{2}\sum _{j=1}^{n_u}\sum _{i:r(i,j)=1}(({\theta }^{(j)}{)}^T{x}^{(i)}-y^{(i,j)}{)}^2+\frac{\lambda }{2}\sum _{j=1}^{n_u}\sum _{k=1}^n({\theta }_k^{(j)}{)}^2$.

  • 用梯度下降法求最优解：

    • ${\theta }_k^{(j)}:={\theta }_k^{(j)}-\alpha \sum _{i:r(i,j)=1}(({\theta }^{(j)}{)}^T{x}^{(i)}-y^{(i,j)})x_k^{(i)}(fork=0)$
    • ${\theta }_k^{(j)}:={\theta }_k^{(j)}-\alpha (\sum _{i:r(i,j)=1}(({\theta }^{(j)}{)}^T{x}^{(i)}-y^{(i,j)})x_k^{(i)}+\lambda {\theta }_k^{(j)})(fork\ne 0)$

协同过滤（Collaborative Filtering）

• 协同过滤： 同时学习用户参数和电影特征。

• 思路： 首先用户根据自己的喜好对特征打分，通过计算可以大致确定已经打过分的电影它的特征值；根据已经确定的特征值，又可以计算出每个用户对这部电影的评分。根据特征向量$X$可以通过线性回归得到用户的$\theta$向量，通过用户提供的$\theta$向量可以估计每部电影的特征数值。

协同过滤算法（Collaborative Filtering Algorithm）

• 步骤：

  • 初始$x^{(1)},x^{(2)},...,x^{(n_m)},{\theta }^{(1)},{\theta }^{(2)},...,{\theta }^{(n_u)}$为一些随机小值；

  • 使用梯度下降算法最小化代价函数（$j=1,...,n_u,i=1,...,n_m$）；
    $$J(x^{(1)},...x^{(n_m)},{\theta }^{(1)},...,{\theta }^{(n_u)})=\frac{1}{2}\sum _{(i:j):r(i,j)=1}(({\theta }^{(j)}{)}^T{x}^{(i)}-y^{(i,j)}{)}^2+\frac{\lambda }{2}\sum _{i=1}^{n_m}\sum _{k=1}^n(x_k^{(j)}{)}^2+\frac{\lambda }{2}\sum _{j=1}^{n_u}\sum _{k=1}^n({\theta }_k^{(j)}{)}^2$$
    

  • 训练完算法后，预测$({\theta }^{(j)}{)}^T{x}^{(i)}$为用户$j$给电影$i$的评分。

矢量化：低秩矩阵分解（Vectorization: Low Rank Matrix Factorization）

• 低秩矩阵分解： 协同过滤算法的向量化实现。

• 目的： 实现一种选择的方法，写出协同过滤算法的预测情况。例：当给出一件产品时，你能否找到与之相关的其它产品。

• 将$n$个用户对$m$部电影的评分结果表示为$m\times n$的矩阵：

  

  这个矩阵可以表示为$X{\theta }^T$：

  

• 通过特征值之间的偏差，找到类型相近的产品：

  • 对每一个产品$i$，我们学习得到它的特征向量$x^{(i)}\in \mathbb{R}$.
  • 找到产品$j$与产品$i$相似：$small\Vert x^{(i)}-x^{(j)}\Vert$.

  例：找到与产品$i$最相似的5个产品：找到5个拥有最小的$\Vert x^{(i)}-x^{(j)}\Vert$的产品$j$。

实施细节：均值规范化（Implementational Detail: Mean Normalization）

• 问题： 如果我们新增一个用户，并且该用户没有为任何电影评分，那么该以什么为依据为该用户推荐电影呢？

• 均值规范化：

  • 首先对结果$Y$矩阵进行均值规范化处理：将每一个用户对某一部电影的评分减去所有用户对该电影评分的平均值；
  • 利用这个新的$Y$矩阵来训练算法；
  • 预测评分时需要将平均值重新加回去：$({\theta }^{(j)}{)}^T{x}^{(i)}+{\mu }_i$，则对于该用户，新模型会认为他给每部电影的评分都是该电影的平均分。