基于物品的协同过滤

基于物品的协同过滤

参考书本： 项亮, 推荐系统实践. 2012
本文系阅读笔记

基于用户的协同过滤的缺点

1.网站用户基数增多，矩阵难以构造，时空复杂度增加。

2.难以对推荐结果做出解释。

基于物品的协同过滤ItemCF

大致含义

该算法会因为你购买过《数据挖掘导论》而给你推荐《机器学习》。不过， ItemCF 算法并不利用物品的内容属性计算物品之间的相似度，它主要通过分析用户的行为记录计算物品之间的相似度。该算法认为，物品 A 和物品 B 具有很大的相似度是因为喜欢物品 A 的用户大都也喜欢物品B 。

基于物品的协同过滤算法可以利用用户的历史行为给推荐结果提供推荐解释，比如给用户推荐《天龙八部》的解释可以是因为用户之前喜欢《射雕英雄传》。

具体步骤

基于物品的协同过滤算法主要分为两步。
(1) 计算物品之间的相似度。
(2) 根据物品的相似度和用户的历史行为给用户生成推荐列表。

具体公式（ij直接的相似度）：

N(i)表示喜欢物品i的用户数。

但是如果物品j很热门，几乎每个人都喜欢，则关系度会接近于1。（如可能很多人都会买《新华字典》或《哈利波特》）

为了避免推荐热门物品，则有公式：

这个公式惩罚了物品j的权重，减轻了热门物品会和很多物品相似的可能性。
尽管上面的公式分母已经考虑到了 j 的流行度，但在实际应用中，热门的 j 仍然会获得比较大的相似度。因此可在分母上进行惩罚。

但不能完全解决，两个不同领域的最热门物品之间往往具有比较高的相似度。这个时候，仅仅靠用户行为数据是不能解决这个问题的，因为用户的行为表示这种物品之间应该相似度很高。此时，我们只能依靠引入物品的内容数据解决这个问题，比如对不同领域的物品降低权重等。这些就不是协同过滤讨论的范畴了。

实现方法

可以首先建立用户-物品倒排表，即每一个用户建立一个包含他喜欢的物品的列表。

比如电影，一般来说，同系列的电影、同主角的电影、同风格的电影、同国家和地区的电影会有比较大的相似度。

在得到物品之间相似度后，itemCF运用以下公式计算用户u对一个物品j的兴趣：

S(j,K) 与物品j最相似的K个物品的集合

为物品相似度。即用户u对物品i的兴趣程度，这里可看做有过行为为1。

对既属于用户喜欢的物品，又在与j物品相似的物品集合内的每一个物品，得到权重相加和（即相似度乘感兴趣程度）。

相关指标

 精度（准确率和召回率） 可以看到 ItemCF 推荐结果的精度也是不和 K 成正相关或者负相关的，因此选择合适的 K 对获得最高精度是非常重要的。
 流行度 和 UserCF 不同，参数 K 对 ItemCF 推荐结果流行度的影响也不是完全正相关的。
随着 K 的增加（流行物品相对增多），结果流行度会逐渐提高，但当 K 增加到一定程度，流行度就不会再有明显变化。
 覆盖率 K 增加会降低系统的覆盖率（流行率增加）。

方法改进

A.

假设有这么一个用户，他是开书店的，并且买了当当网上 80% 的书准备用来自己卖。那么，他的购物车里包含当当网 80% 的书。假设当当网有 100 万本书，也就是说他买了 80 万本。从前面对 ItemCF 的讨论可以看到，这意味着因为存在这么一个用户，有 80 万本书两两之间就产生了相似度，也就是说，内存里即将诞生一个 80 万乘 80 万的稠密矩阵。

John S. Breese 在论文中提出了一个称为 IUF （ Inverse User Frequence ），即用户活跃度对数的倒数的参数，他也认为活跃用户对物品相似度的贡献应该小于不活跃的用户，他提出应该增加 IUF参数来修正物品相似度的计算公式：ItemCF-IUF算法

同ItemCF相比，降低了流行度，提高了推荐结果的覆盖率。

B.

物品相似度归一化。

Karypis 在研究中发现如果将 ItemCF 的相似度矩阵按最大值归一化，可以提高推荐的准确率。
其研究表明，如果已经得到了物品相似度矩阵 w ，那么可以用如下公式得到归一化之后的相似度矩阵 w' ：

相似度的归一化可以提高推荐的多样性。[解释看原书]