【机器学习】推荐系统、SVD分解降维

推荐系统：

1.基于内容的实现：KNN等

2.基于协同滤波(CF)实现：SVD → pLSA(从LSA发展而来,由SVD实现)、LDA、GDBT

        SVD算是比较老的方法，后期演进的主题模型主要是pLSA和LDA。pLSA主要基于EM最大期望算法，而LDA主要基于Gibbs抽样算法，这个在下一篇文章《主题模型》里会详细介绍。

 

一、推荐系统

        推荐系统实现主要分为两个方面：基于内容实现和基于协同滤波实现。

1.基于内容

        不同人对不同电影评分这个例子，可以看做是一个普通回归（线性回归）问题，因此每部电影都要提前提取出一个特征向量（即x值），然后针对每个用户建模，即每个用户的打分值作为y值，利用这些已有的分值y和电影特征值x就可以训练回归模型了（最常见的是线性回归）。这样就可以预测那些用户没有评分的电影分数。（值得注意的是每个用户都建立他自己的回归模型）

        从另一个角度，也可以是先给定每个用户对某种电影的喜好程度（即权值），然后学出每部电影的特征，最后采用回归来预测那些没有被评分的电影。

        当然还可以是同时优化每个用户对不同类型电影的热爱程度以及每部电影的特征。具体可以参考Ng在coursera上的ML教程：https://www.coursera.org/course/ml

 

2.基于协同滤波

         协同滤波可以看做是一个分类问题，也可以看做是一个矩阵分解问题。协同滤波主要是基于每个人自己的喜好都类似这一特征，它不依赖于个人的基本信息。比如刚才那个电影评分的例子中，预测那些没有被评分的电影的分数只依赖于已经打分的那些分数，并不需要去学习那些电影的特征。

 

二、奇异值分解SVD

1.SVD原理

        SVD将矩阵分为三个矩阵的乘积，公式：

        中间矩阵∑为对角阵，对角元素值为Data矩阵特征值λ_i，且已经从大到小排序，即使去掉特征值小的那些特征，依然可以很好地重构出原始矩阵。如下图：其中阴影部分代表去掉小特征值，重构时的三个矩阵。

         如果m代表商品个数，n代表用户个数，则U矩阵每行代表商品属性，现在通过降维U矩阵（取阴影部分）后，每个商品的属性可以用更低的维度表示（假设k维）。这样当新来一个用户的商品推荐向量X，则可以根据公式X*U1*inv(S1)得到一个k维的向量，然后在V’中寻找最相似的的那个用户（相似度计算可用余弦公式），根据这个用户的评分来推荐（主要是推荐新用户未打分的那些商品）。具体例子可以参考文章：SVD在推荐系统中的应用。

         另外关于SVD分解后每个矩阵的实际含义可以参考google吴军的数学之美一书（吴军解释UV两个矩阵好像弄反了？）或者参考machine learning in action其中的svd章节。

 

2.SVD应用

        SVD是一种降维工具，可以利用SVD来逼近矩阵并从中提取重要特征，保留80%~90%的能量就可以得到重要特征并去掉噪声。

 

SVD应用：

        隐形语义索引、信息检索；

        推荐引擎；

        图像压缩；

 

matlab中调用SVD库函数：已知矩阵A=[…]，则[U, S, V] = svd(A)就可以输出三个矩阵U, S, V分别是多少。

 

3.性能

优点：简化数据，去除噪声，提高算法结果

缺点：数据转换难以理解

数据类型：数值型数据