推荐系统常用评价指标

---

最近在做一些推荐系统方面的研究工作，对于推荐系统的评价指标总是搞得很乱，现在正好用博客整理下，免得每次都要上网查

---

目录

• Rating Prediction
  • RMSE
  • MAE
• Ranking Prediction
  • Precision@K
  • Recall@K
  • MAP(Mean Average Precision)
  • MRR(Mean Reciprocal Rank)
  • NDCG@K
  • NDCG

---

1.Rating Prediction

对于rating prediction任务，一般都是根据原有的评分数据，利用矩阵分解等方法去拟合原评分，使得优化后的模型可以去预测新的评分，这里就要衡量你预测的评分和实际评分的差异了，指标也很简单，分为RMSE和MAE。

（1）RMSE

$$\mathrm{RMSE}=\sqrt{\frac{1}{|\mathcal{T}|}\sum _{(u,i)\in \mathcal{T}}{\left({\hat{r}}_{ui}-r_{ui}\right)}^2}$$
其中$\mathcal{T}$是测试集，${\hat{r}}_{ui}$是模型预测出来的评分，$r_{ui}$是测试集的实际评分。

（2）MAE

$$\mathrm{MAE}=\frac{1}{|\mathcal{T}|} \sum_{(u, i) \in \mathcal{T}}\left|\hat{r}_{u i}-r_{u i}\right|$$

$$\mathrm{RMSE}=\sqrt{\frac{1}{|\mathcal{T}|}\sum _{(u,i)\in \mathcal{T}}{\left({\hat{r}}_{ui}-r_{ui}\right)}^2}$$
其中$\mathcal{T}$是测试集，${\hat{r}}_{ui}$是模型预测出来的评分，$r_{ui}$是测试集的实际评分。

RMSE和MAE实际上差别不大的指标，在Rating任务中比较常用

2.Ranking Prediction

对于Ranking prediction任务，一般是将其化为二分类任务：有评分为1，无评分为0（这是比较粗糙的做法），然后对每个用户取其偏好最高的K个商品（TOP-K）推荐。指标看起来也“复杂”很多，分别有Rrecision@K，Recall@K，MAP，MRR，NDCG

（1）Precision@K

$$precision@K=\frac{\left|Re{l}_u\cap Re{c}_u\right|}{\left|Re{c}_u\right|}$$
其中$Re{l}_u$表示与用户 $u$ 相关的商品集（测试集），$Re{c}_u$表示推荐给用户的前K个列表，二者的交集除以$Re{c}_u$的集合元素个数（其实就是K），得到Precision@K。一般是算出每个用户的Precision@K，然后取平均值。

#计算每个用户的Precision@K值，最后还要取平均值
    def cal_precision_at_k(k, rankedlist, test_matrix):
	    test_set = set(test_matrix)
	    rank_set = set(rankedlist)
	    hit = len(test_set & rank_set)
	    return float(hit / k)

（2）Recall@K

$$Recal@K=\frac{\left|Re{l}_u\cap Re{c}_u\right|}{\left|Re{l}_u\right|}$$
其中$Re{l}_u$表示与用户u相关的商品集（测试集），$Re{c}_u$表示推荐给用户的前K个列表，二者的交集除以$Re{l}_u$中元素的个数（也就是测试集中用户u评过分的商品数），得到Recall@K。一般是算出每个用户的Recall@K，然后取平均值。

#计算每个用户的Recall@K值，最后还要取平均值
def cal_Recall_at_k_for_each_user(k, rankedlist, testlist):
    test_set = set(test_matrix)
    rank_set = set(rankedlist)
    hit = len(test_set & rank_set)
    return float(hit / len(test_set))

（3）MAP(Mean Average Precision，平均准确率)

$$MAP=\frac{{\sum }_{u\in U^{\ast e}}A{P}_u}{\left|{\mathcal{U}}^{te}\right|}$$
首先需要计算每个用户AP（Average Precision)
$$A{P}_u=\frac{1}{\left|{\mathcal{I}}_u^{te}\right|}\sum _{i\in {\mathcal{I}}_u^{t_e}}\frac{{\sum }_{j\in {\mathcal{I}}_u^{t_u}}\delta \left(ran{k}_{uj}<ran{k}_{ui}\right)+1}{ran{k}_{ui}}$$
公式看起来有点吓人，其中$ran{k}_{ui}$表示推荐列表中物品 i 的排序位置，$ran{k}_{uj}<ran{k}_{ui}$ 表示在对用户 $u$ 的排序列表中物品 $j$ 的排序位置在物品 $i$ 的前面。假设你推荐的TOP-K商品中，有N个命中了（与测试集的交集为N），其实就是$$A{P}_u=\frac{{\sum }_{i\in I^{\ast u}}i在推荐列表中的排名}{i在测试集中的排名}$$其中$I^{\ast u}$是用户u的推荐列表中命中的元素集合。MAP就是所有用户AP的平均值。$$\mathrm{M}\mathrm{A}\mathrm{P}=\frac{1}{|U|}\sum _{u=1}^{|U|}A{P}_u$$还是不理解？上代码：

#这个只是计算每个用户MAP的代码，最后还要对整个取平均值
def cal_map_for_each_user(rankedlist, testlist):
    ap = 0
    s = set(testlist)
    #命中的元素在testlist中的排名
    hits = [ idx for idx, val in enumerate(rankedlist) if val in s ] 
    count = len(hits)
    for i in range(count):
        ap += (i+1) / (hits[i] + 1)
        
    if count != 0:
        map = ap / count
    else:
    	map = 0

    return map

（4）MRR(Mean Reciprocal Rank, 平均倒数排名)

$$\mathrm{M}\mathrm{R}\mathrm{R}=\frac{1}{|Q|}\sum _{i=1}^{|U|}\frac{1}{{\mathrm{rank}}_i}$$
其中$|U|$是用户的个数，$ran{k}_i$是对于第$i$个用户，推荐列表中第一个在测试集结果中的商品所在的排列位置，计算起来也十分简单：

#这个也是只是计算每个用户的MRR，最后还要取均值
    if count != 0:
        mrr = 1 / (hits[0] + 1)
    else:
    	mrr = 0

(5) NDCG@K(Normalized Discounted Cummulative Gain@K)

NDCG应该是Ranking指标里面最复杂的了，讲NDCG应该先从CG,DCG讲起

CG@K(Cummulative Gain，累计增益)

$$C{G}_k=\sum _{i=1}^{k}re{l}_i$$
其中，$re{l}_i$ 表示处于位置 $i$ 的推荐结果的相关性，在推荐系统中是命中$re{l}_i$ 为1，不命中$re{l}_i$ 为0。$k$是TOP-K中的K。

DCG@K(Discounted Cummulative Gain)

$$DC{G}_k=\sum _{i=1}^k\frac{2^{re{l}_i}-1}{{\log }_2(i+1)}$$，推荐系统中，命中则$2^{re{l}_i}-1$为1，不命中则$2^{re{l}_i}-1$为0。$DCG$引入了位置因素，比$CG$更有价值。

IDCG@K(Ideal DCG)

$$IDC{G}_k=\sum _{i=1}^k\frac{1}{{\log }_2(i+1)}$$
$k$是TOP-K中的K。$IDCG$是理想化的$DCG$，因此$DCG$的值介于[0,$IDCG$]之间。

    for i in range(k):
        idcg_k += 1 / math.log(i + 2, 2)

NDCG@K (Normalized Discounted Cummulative Gain@K)

$$NDC{G}_u@k=\frac{DC{G}_u@k}{IDC{G}_u}$$
终于轮到$NDCG@K$了，它的值就是$DCG$与$IDCG$之间的比值，介于[0,1]之间。
因此所有用户的平均$NDCG@K$为：$$NDCG@k=\frac{{\sum }_{u\in {\mathcal{U}}^{te}NDC{G}_u@k}}{\left|{\mathcal{U}}^{te}\right|}$$
其中，$U^{te}$为测试集中的所有用户。

#计算每个用户的NDCG@K值，最后还要取平均值
def cal_ndcg_at_k_for_each_user(k, rankedlist, testlist):
    idcg_k = 0
    dcg_k = 0
    if len(testlist) < k: k = len(testlist)
    for i in range(k):
        idcg_k += 1 / math.log(i + 2, 2)
        
    s = set(testlist)
    hits = [ idx for idx, val in enumerate(rankedlist) if val in s]
    count = len(hits)

    for i in range(count):
        dcg_k += 1 / math.log(hits[i] + 2, 2)

    return  float(dcg_k / idcg_k)

（6）NDCG(Normalized Discounted Cummulative Gain)

既然已经介绍了$NDCG@K$，为啥还要单独介绍一个$NDCG$呢，二者除了一个$@K$有啥区别？
主要是看有的论文是用$NDCG@K$，有的是用$NDCG$，因此两个都记下来好了，二者的区别主要是计算$IDCG$的不同（$DCG$计算是一样的）

IDCG(Ideal DCG)

$$IDC{G}_n=\sum _{i=1}^n\frac{1}{{\log }_2(i+1)}$$
其中n是用户$u$的测试集长度，这样一算$IDCG$变大了。然后$NDCG$计算是公式一样的：
$$NDCG=\frac{{\sum }_{u\in {\mathcal{U}}^{te}NDC{G}_u@k}}{\left|{\mathcal{U}}^{te}\right|}$$
其中，$U^{te}$为测试集中的所有用户。

好了总结完毕~

最后不得不感谢Mathpix Snipping Tool这个工具太好用了，全文的LaTeX公式都是用它做的，想了解的自己去百度搜索，你会发现新天地的。