145.如何评价个性化推荐系统的效果-2

145.1 E值

• E值表示查准率P和查全率R的加权平均值，当其中一个为0时，E值为1，其计算公式：

  
  
  • b越大，表示查准率的权重越大。

145.2 平均正确率（Average Precision）

• 平均正确率表示不同查全率的点上的正确率的平均

145.3 AP和mAP(mean Average Precision)

• mAP是为解决P（准确率），R（召回率），F-measure的单点值局限性的。为了得到 一个能够反映全局性能的指标，可以看考察下图，其中两条曲线(方块点与圆点)分布对应了两个检索系统的准确率-召回率曲线

  
  
  • 可以看出，虽然两个系统的性能曲线有所交叠但是以圆点标示的系统的性能在绝大多数情况下要远好于用方块标示的系统。
• 从中可以发现一点，如果一个系统的性能较好，其曲线应当尽可能的向上突出。
• 更加具体的，曲线与坐标轴之间的面积应当越大。

• 最理想的系统， 其包含的面积应当是1，而所有系统的包含的面积都应当大于0。这就是用以评价信息检索系统的最常用性能指标，平均准确率mAP其规范的定义如下:

  
  

145.4 ROC和AUC

• ROC和AUC是评价分类器的指标，上面第一个图的ABCD仍然使用，只是需要稍微变换

  
  
• ROC关注两个指标

 True  Positive Rate( TPR ) = TP / [ TP + FN] ，TPR代表能将正例分对的概率
 False Positive Rate( FPR ) = FP / [ FP + TN] ，FPR代表将负例错分为正例的概率

• 在ROC 空间中，每个点的横坐标是FPR，纵坐标是TPR，这也就描绘了分类器在TP（真正的正例）和FP（错误的正例）间的trade-off
  • ROC的主要分析工具是一个画在ROC空间的曲线——ROC curve
  • 对于二值分类问题，实例的值往往是连续值，我们通过设定一个阈值，将实例分类到正类或者负类（比如大于阈值划分为正类）
  • 因此可以变化阈值，根据不同的阈值进行分类，根据分类结果计算得到ROC空间中相应的点，连接这些点就形成ROC curve
  • ROC curve经过（0,0）（1,1），实际上(0, 0)和(1, 1)连线形成的ROC curve实际上代表的是一个随机分类器

  • 一般情况下，这个曲线都应该处于(0, 0)和(1, 1)连线的上方。如图所示：

    
    
  • 用ROC curve来表示分类器的performance很直观好用。可是，人们总是希望能有一个数值来标志分类器的好坏。
• 于是Area Under roc Curve(AUC)就出现了
  • 顾名思义，AUC的值就是处于ROC curve下方的那部分面积的大小
  • 通常，AUC的值介于0.5到1.0之间，较大的AUC代表了较好的Performance
• P/R和ROC是两个不同的评价指标和计算方式，一般情况下，检索用前者，分类、识别等用后者

大数据视频推荐：
网易云课堂
CSDN
人工智能算法竞赛实战
AIops智能运维机器学习算法实战
ELK7 stack开发运维实战
PySpark机器学习从入门到精通
AIOps智能运维实战
腾讯课堂
大数据语音推荐：
ELK7 stack开发运维
企业级大数据技术应用
大数据机器学习案例之推荐系统
自然语言处理
大数据基础
人工智能：深度学习入门到精通