推荐质量评价指标

推荐质量评价指标

Precision & Recall & F1-Measure

内容过于基础，在此不作详细描述。如有兴趣，请参考以下链接:

1. 准确率(Accuracy), 精确率(Precision), 召回率(Recall)和F1-Measure
2. Precision and Recall - Wikipedia

RMSE

均方误差(Root Mean Square Error, RMSE), 其计算公式如下:

MAP

平均正确率均值(Mean Average Precision, MAP)
其中 的计算方法如下：

其中， 为检索结果队列中的排序位置，为前 个结果的准确率， 表示位置 的文档是否相关，相关为 ，不相关为 。

即是将多个 对应的 求平均:

为 的数量。

NDCG

CG

（cumulative gain，累计增益）可以用于评价基于打分/评分的个性推荐系统。假设我们推荐 个物品, 这个推荐列表的 计算公式如下:

表示第 个物品的相关性或者评分。假设我们共推荐 个电影， 可以是用户对第i部电影的评分。

比如豆瓣给用户推荐了五部电影:

该用户对这五部电影的评分分别是:

那么这个推荐列表的 等于

DCG

没有考虑推荐的次序，在此基础之后我们引入对物品顺序的考虑, 就有了 (Discounted CG), 折扣累积增益。公式如下:

上例中推荐列表的 等于:

NDCG

没有考虑到推荐列表和每个检索中真正有效结果个数, 所以最后我们引入 (Normalized discounted CG), 顾名思义就是标准化之后的 。

其中IDCG是指 ，也就是完美结果下的 。
继续上面的例子, 如果相关电影一共有7部:

该用户对这七部电影的评分分别是:

把这 7 部电影按评分排序
5, 4, 3, 2, 2, 1, 0
这个情况下的完美 是

所以

是 到 的数，越接近 说明推荐越准确。
NDCG提供了一种计算方式，当我们有其他排名类似的需求的时候， 都是值得参考的，其 以及 的计算的变化可以产生很多其他有价值的评价指标。

MRR

平均倒数排名(Mean Reciprocal Rank, MRR), 是统计学中，依据排序的正确性，对查询请求响应结果的评估。查询响应结果的倒数排名是第一个正确答案的倒数积。平均倒数排名是多个查询结果的平均值。

平均倒数排名的倒数正好表示所有排名的调和平均值。

备注

1. 如果所有结果都不正确，结果为
2. 如果存在多个正确答案，考虑使用平均准确度 ()

参考文献

1. Evaluation_measures_(information_retrieval)
2. 平均倒数排名
3. 信息检索中的评价指标MAP和NDCG
4. 怎么理解推荐系统中的NDCG？