Yehuda-矩阵分解

原文：《Matrix Factorization techniques for recommender systems》

一、推荐算法的两大类型

（一）基于内容

通过人口统计特征等为每个用户生成一个配置文件，通过产品特征为每个产品生成一个配置文件(至于怎么确定这些合适的特征就是一个比较麻烦的问题了.....)

（二）基于协同过滤

不用建立配置文件，但需要用户过往的行为，如交易历史或打分(所以存在新用户冷启动问题，自然新物品没有用户和它interact过，也存在新物品冷启动问题)

Based on Memory <-- 邻域算法 <-- KNN <-- 计算用户相似度/物品相似度

（1）the user-oriented neighborhood method
目标：推荐用户小z喜欢的电影
做法：1⃣️根据小z的评分发现小z喜欢的电影M
2⃣️找到和小z一样也喜欢这些电影的其他用户U（即小z的相似用户）
3⃣️找到相似用户喜欢的电影推荐给小z

（2）the item-oriented apporach
目标：预测用户小z对电影m的偏好
做法：1⃣️找到电影m的相似电影M（movies that tend to get similar ratings when rated by the same user）
2⃣️找到相似电影M中用户小z评分过的电影M'
3⃣️根据小z对M'的评分预测小z对电影m的偏好

Based on Model <--隐因子模型latent factor models <-- 矩阵分解

屏幕快照 2019-04-29 上午10.47.09.png

二、矩阵分解Matrix Factor

反馈分为显式反馈（如评分，往往是稀疏矩阵）和隐式反馈（通常表示事件的存在或不存在，因此它通常由密集填充的矩阵表示，其中用户u没看过电影i表示为0，⚠️它认为0值就等于用户u不喜欢电影i）

（一）矩阵分解的基本概念

MF将users和items映射到维度f的联合潜在因子空间，使得user-item interaction被建模为该空间中的内积
（MF characterizes both items and users on K factors inferred from the ratings patterns）

假设有3个因子，分别是“action”、“comedy”和“romance”，每个用户都是一个由3个成分组成的用户向量，分别代表了他对action类、comedy类和romance类电影的偏好；每个电影都是一个由3个成分组成的电影向量，分别代表了它是action类、comedy类和romance类电影的程度；High correspondence between item and user factors leads to a recommendation.

（二）Basic MF model

屏幕快照 2019-04-29 上午11.01.10.png

屏幕快照 2019-04-29 上午11.03.02.png

式（1）尝试捕获用户与产生不同评级值的项目之间的交互，实现式（1）的方法是SVD，但SVD要求待分解的矩阵是complete的，如果采用补全的方法对评分矩阵补全的话，成本高不说，还容易使数据失真，因此我们直接只对observed的ratings进行矩阵分解（加入正则项防止过拟合，参数lambda通过交叉验证得到）。

屏幕快照 2019-04-29 上午11.11.09.png

式（2）中qi和pu都是未知的，因此式（2）是非凸函数，采用SGD对式（2）求解容易陷入局部最优值。
但是如果我们修复其中一个未知数，则优化问题变为二次方并且可以求解最优值，因此采用交替最小二乘法（Alternating Least Squares，ALS）求解式（2）。
【ALS techniques rotate between fixing the qi ’s and fixing the pu ’s. When all pu ’s are fixed, the system recomputes the qi’s by solving a least-squares problem, and vice versa. This ensures that each step decreases Equation 2 until convergence.】

事实上！ 观察到的评分可以分为四个部分：全局平均值，项目偏差，用户偏差和用户项目交互。观察到的评级值的大部分变化是由于与用户或项目相关的影响（称为偏差或截距），所以我们要引入偏置项。

屏幕快照 2019-04-29 上午11.31.26.png

⚠️矩阵分解可以将隐式反馈、时间效应和置信水平纳入模型。

（三）additional input sources（含隐式反馈）

屏幕快照 2019-04-29 下午12.41.16.png

（四）temporal dynamics（时间效应）

屏幕快照 2019-04-29 下午12.47.46.png

（五）confidence level（置信水平）

屏幕快照 2019-04-29 下午12.52.57.png

三、在Netflix Prize Competition中的应用

屏幕快照 2019-04-29 下午12.58.07.png

对Netflix用户电影矩阵进行因式分解使我们能够发现用于预测电影首选项的最具描述性的维度。 我们可以从矩阵分解中识别出前几个最重要的维度，并探索电影在这个新空间中的位置。

屏幕快照 2019-04-29 下午12.58.49.png