推荐系统评价指标

混淆矩阵

• True Positive(真正, TP)：将正类预测为正类数.
• True Negative(真负 , TN)：将负类预测为负类数.
• False Positive(假正, FP)：将负类预测为正类数. →→ 误报 (Type I error).
• False Negative(假负 , FN)：将正类预测为负类数. →→ 漏报 (Type II error).

1. 精确率(precision)

定义如下：
$$P=\frac{TP}{TP+FP}$$
TP：正样本预测正确的数量

FP：负样本预测错误的数量（被预测为正样本）

召回率很高，说明在预测为正样本的样本中，误报的数量比较少。

它和准确率的定义是不一样的，**准确率(accuracy)**的定义如下：
$$ACC=\frac{TP+TN}{TP+TN+FP+FN}$$

2. 召回率

定义如下：
$$R=\frac{TP}{TP+FN}$$
TP：正样本预测正确的数量

FN：正样本预测错误的数量（被预测为负样本）

召回率很高，说明在预测为正样本的样本中，漏报的数量比较少。

3. 调和均值（F1值）

$$\begin{array}{rl}\frac{2}{F_1}& =\frac{1}{P}+\frac{1}{R}\\ F_1& =\frac{2TP}{2TP+FP+FN}\end{array}$$

当漏报和误报都很少的时候，F1的值都很高

4. ROC曲线

接收者操作特征曲线（receiver operating characteristic curve），是反映敏感性和特异性连续变量的综合指标，ROC曲线上每个点反映着对同一信号刺激的感受性。

• 横坐标（x）：

  $$FPR=\frac{FP}{FP+TN}$$

  FPRate的意义是预测为正的负样本占总的负样本的比例。（越低越好）

  FP：将负样本预测为正样本的数量

  TN：正确预测负样本的数量

• 纵坐标（y）：

  $$TPR=\frac{TP}{FP+FN}$$

  TPRate的意义是预测为正的正样本占总的正样本的比例。。（越高越好）

  TP：正确预测正样本的数量

  FP：将负样本预测为正样本的数量

  FN：将正样本预测为负样本的数量

真正的理想情况：TPR应接近1，FPR接近0，即图中的（0,1）点。ROC曲线越靠拢（0,1）点，越偏离45度对角线越好。

5. AUC值

• 概率学上的意义：随机选取一个正例和一个负例，分类器给正例的打分大于分类器给负例的打分的概率。

• AUC (Area Under Curve) 被定义为ROC曲线下的面积，显然这个面积的数值不会大于1。又由于ROC曲线一般都处于y=x这条直线的上方，所以AUC的取值范围一般在0.5和1之间。

• 从AUC判断分类器（预测模型）优劣的标准：

  • AUC = 1，是完美分类器，采用这个预测模型时，存在至少一个阈值能得出完美预测。绝大多数预测的场合，不存在完美分类器。
  • 0.5 < AUC < 1，优于随机猜测。这个分类器（模型）妥善设定阈值的话，能有预测价值。
  • AUC = 0.5，跟随机猜测一样（例：丢铜板），模型没有预测价值。
  • AUC < 0.5，比随机猜测还差；但只要总是反预测而行，就优于随机猜测。