协同过滤算法（UserCF + ItemCF）

最近在看《推荐系统实践》这本书，对于其中 2.4.1 基于用户的协同过滤算法和 2.4.2 基于物品的协同过滤算法进行了简易实现。

本文列举了在算法实现过程中遇到的一些情况并做了猜想与解释。

---

数据准备

本实验采用的数据集来自于MovieLens。

---

基本原理

本实验将分别采用UserCF算法和ItemCF算法，目的是为了给用户推荐电影，而不是预测用户会给某部电影打多少分。因此，ratings.csv中的打分信息可以忽略。

先读取ratings.csv中的数据，再随机将数据分为训练集Train与测试集Test。在训练集中获取训练User之间的关联信息UserSimilarity或者训练Item之间的关联信息ItemSimilarity，并根据Similarity给测试用户推荐新的电影。

---

Code

代码已放在对应Github上。

---

实验结果

UserCF

当采用不同数量的相关用户(K取值不同)的时候，推荐算法产生的precision、recall、coverage、popularity有着一定相关关系。时间花费也相差较大。如下所示：

K   precision   recall  coverage    popularity  time
10  16.00%  9.38%   6.79%   4.83    19.60
10  15.81%  9.31%   6.61%   4.83    19.38
10  15.64%  9.26%   6.76%   4.84    21.02
10  15.99%  9.42%   6.62%   4.84    21.14
10  16.26%  9.92%   6.51%   4.83    20.23
10  15.31%  9.10%   6.67%   4.84    20.06
10  15.04%  9.05%   6.58%   4.85    20.29
10  16.11%  9.52%   6.69%   4.84    20.50
average:
10  15.77%  9.37%   6.65%   4.84

K   precision   recall  coverage    popularity  time
50  17.80%  10.44%  2.78%   5.12    73.39
50  17.23%  10.15%  2.82%   5.12    78.35
50  16.60%  9.83%   2.83%   5.13    80.17
50  17.89%  10.54%  2.75%   5.13    79.42
50  17.18%  10.48%  2.82%   5.12    80.98
50  17.03%  10.13%  2.87%   5.12    80.02
50  16.84%  10.14%  2.85%   5.12    85.77
50  17.43%  10.30%  2.97%   5.12    80.01
average:
50  17.25%  10.25%  2.84%   5.12

若K相同，使用User-IIF算法，则从实验结果中可以看到，在coverage上有了一定提升。K=10时，结果如下：

K   precision   recall  coverage    popularity  time
10  16.21%  9.51%   7.70%   4.75    26.20
10  15.35%  9.04%   7.72%   4.77    25.82
10  15.56%  9.21%   7.92%   4.77    25.59
10  15.81%  9.31%   7.55%   4.77    25.51
10  16.27%  9.93%   7.56%   4.76    26.16
10  15.37%  9.14%   7.62%   4.77    25.66
10  14.66%  8.83%   7.66%   4.77    25.62
10  16.05%  9.49%   7.45%   4.77    27.94
average:
10  15.66%  9.31%   7.65%   4.77

ItemCF

在运行ItemCF过程中，意外的发现程序耗时特别久，如下所示：

K    precision    recall    coverage    popularity    time
10  15.42%  9.04%   7.28%   4.67    1587.82

与UserCF相比，除了time之外的数据相差都不大，而time则相差了60倍左右。

从数据集中分析，本数据集包含671个User，9125 个Item，Item / User = 13.60。

从代码层面分析，在某同一数据集下，UserCF和ItemCF分别能得到以下结果（Similarity函数和Recommend函数均在只执行一次的条件下测得数据）：

CF	Similarity函数中循环次数	Similarity函数运行时间	Recommend函数中循环次数	Recommend函数运行时间
UserCF	5491318	1.721613	945	0.011548
ItemCF	58900317	35.749465	200	1.021870
ItemCF/UserCF	10.73	20.77	0.21	88.49

可以发现，Similarity函数和Recommend函数的运行时间和内部循环次数并不十分相关，尤其当ItemCF的Recommend循环远小于UserCF的Recommend循环时，运行时间却要来的更大。

注意到这两个函数内部都额外构建了dict，分别代表User_Items关系与Item_Users关系，且都实现了相关的find、sort操作，故函数运行时间差异主要与不同Size的Dict的find、sort性能相关。