推荐系统常用评价指标：NDCG、Recall、Precision、Hit Rate

评价指标

NDCG

Normalized Discounted Cumulative Gain(归一化折损累计增益)

NDCG用作排序结果的评价指标，评价排序的准确性。

推荐系统通常为某用户返回一个item列表，假设列表长度为K，这时可以用NDCG@K评价该排序列表与用户真实交互列表的差距。

CG （累计增益 Cumulative Gain）

$$C{G}_K=\sum _{i=1}^{K}re{l}_i$$

考虑一个长度为K的列表，$re{l}_i$代表$i$位置物品的相关度。（在推荐系统里就是0、1）

这个评价指标有一个问题，我推荐的物品聚集在列表的尾部和头部得分一样，这不合适。

DCG（折损累计增益 Discounted cumulative gain）

DCG提出如果有效结果在列表中排的较低的话，应该对列表的评分惩罚，惩罚和有效结果的排位有关。所以就加了衰减因子：
$$DC{G}_p=\sum _{i=1}^p\frac{re{l}_i}{{\log }_2(i+1)}=re{l}_1+\sum _{i=2}^p\frac{re{l}_i}{{\log }_2(i+1)}$$
或者
$$DC{G}_p=\sum _{i=1}^p\frac{2^{re{l}_i}-1}{{\log }_2(i+1)}$$
后一个公式广泛在工业界用。当得分是0/1，即$re{l}_i\in \{0,1\}$时，二者是等价的。

NDCG （归一化折损累计增益 Normalized Discounted Cumulative Gain）

DCG没有考虑到推荐列表和每个检索中真正有效结果（test items list）的个数，所以最后引入NDCG，就是标准化后的DCG。
$$NDC{G}_k=\frac{DC{G}_k}{IDC{G}_k}$$
其中$IDCG$是指ideal DCG，即完美结果下的DCG。

比如给用户推荐7部电影：$M_1,M_2,M_3,M_4,M_5,M_6,M_7$

该用户对这七部电影的评分是：$5,3,2,1,2,4,0$

那么完美的推荐结果应该是按评分排序的：$5,4,3,2,2,1,0$，所以此时的IDCG：
$$\begin{gathered} IDC{G}_5=\frac{2^5-1}{{\log }_{2}2}+\frac{2^4-1}{{\log }_{2}3}+\frac{2^3-1}{{\log }_{2}4}+\frac{2^2-1}{{\log }_{2}5}+\frac{2^2-1}{{\log }_{2}6} \\ =31+9.5+3.5+1.3+1.2=46.5 \end{gathered}$$
所以$NDCG:$
$$NDC{G}_5=\frac{DC{G}_5}{IDC{G}_5}=\frac{38.5}{46.5}=0.827$$

Precision、Recall

$$Precision=\frac{预测正确的}{推荐列表长度}$$

$$Recall=\frac{预测正确的}{用户实际点击列表长度}$$

Hit Rate

$$HR=\frac{测试集中的item出现在Top-N推荐列表中的用户数量}{用户总数}$$