Spark 基于物品的协同过滤算法实现

前言

由于 Spark MLlib 中协同过滤算法只提供了基于模型的协同过滤算法，在网上也没有找到有很好的实现，所以尝试自己实现基于物品的协同过滤算法（使用余弦相似度距离）

算法介绍

基于物品的协同过滤算法是目前业界应用最多的算法，亚马逊网、Netflix、Hulu、YouTube 都使用该算法作为推荐系统的基础算法。算法核心思想是根据用户对物品的历史行为记录，先计算物品之间的相似度，得到与物品最相似的 TopN 个物品，再利用用户对物品的历史行为，将用户访问过的物品的相似物品推荐给用户。也就是说，算法分为 2 步：

1. 计算物品之间的相似度
2. 为用户生成推荐列表

计算物品之间的相似度

计算物品的相似度有很多种算法，如余弦相似度、皮尔森相关度、欧式距离相似度、Tanimoto系数等，这里我们使用的是余弦相似度。

假设有向量A（x₁,x₂,...x_n）和向量B（y₁,y₂,...y_n）,A、B 之间的余弦相似度为：

余弦相似度公式

如果物品少这样计算没关系，但设想如有 100W 的物品，需要计算物品间的两两相似度，计算量大概是 100W x 100W，基本无法计算。

虽然物品很多，但并不是每两个物品都有被相同的用户访问过， 也就是说，很多物品直接余弦相似度等于0，为了避免这些计算，我们引入倒排表来解决这一问题。

假设有物品 Item₁、Item₂、Item₃、Item₄，用户 U₁、U₂、U₃、U₄：
Item₁ 被 U₁、U₂ 访问，偏好分分别是2、3，转化为向量是（2，3，0，0）
Item₂ 被 U₃、U₄ 访问，偏好分分别是1、4，转化为向量是（0，0，1，4）
Item₃ 被 U₂，U₃ 访问，偏好分分别是2、2，转化为向量是（0，2，2，0）
Item₄ 只被 U₃ 访问，用户对其的偏好分是5，转化为向量是（0，0，5，0）

1. 先计算每个 Item 的模，即上图余弦相似度公式中的分母部分，缓存

| Item₁ | = √(2² + 3²) = √13
| Item₂ | = √17
| Item₃ | = √8
| Item₄ | = 5

2. 转化为用户访问物品关系，将相同用户访问过的 Item 列出，即：

U₁：Item₁(2)
U₂：Item₁(3)，Item₃(2)
U₃：Item₂(1)，Item₃(2)，Item₄(5)
U₄：Item₂(5)

3. 针对同一用户，计算两两物品之间的相似度，输出<物品对，分数>，即：

U₁：输出空
U₂：输出 <(Item₁, Item₃), 3x2=6>
U₃：输出 <(Item₂, Item₃), 2>，<(Item₂, Item₄), 5>，<(Item₃, Item₄), 10>
U₄：输出空
注意：可以将所有物品对 id 小的放前面，以减少后面一半的计算量

4. 将物品对作为 key 聚合，将分数相加，得到每个物品对的分数和，即上图余弦相似度公式中的分子部分。再从缓存中取出分母部分相除，即两两物品的相似度。如 Item₂ 和 Item₄ 的余弦相似度=5/(√17 x 5) = 1/√17
5. 如果要取物品的 TopK 相似的物品，可将得到的两两相似度结果（其实是半个相似度矩阵）扩展，然后按 key 聚合取 TopK 个。另外，实践表明针对同一物品，如果将相似度进行归一化 similary_i/similary_max 有助于提高最终推荐结果的精度。

为用户生成推荐列表

现在已经有每个物品的 TopK 个相似的物品信息，结合用户对物品的访问情况，将用户访问过的每个物品的相似物品取出，按相似度加权，排除已经访问过的物品，就可以得到用户的推荐列表，具体计算步骤如下：

1. 将<物品，相似物品列表> 与 <物品，访问过该物品的用户列表> join，得到<物品，（相似物品列表，访问过该物品的用户列表）>
2. 交叉遍历相似物品列表和访问过该物品的用户列表，得到很多 <用户，（物品，分数）>
3. 按用户聚合，将相同物品的分数相加，按分数排序，取 TopK，即该用户的推荐列表

实现

基于以上的算法，本人尝试用 java 实现，代码放在 GitHub，希望读者指正。