模型评估的指标

多模型评估的指标可以分为以下几个类别

一.Accuracy，Precision，Recall

要计算这几个指标先要了解几个概念：
FN：False Negative,被判定为负样本，但事实上是正样本。
FP：False Positive,被判定为正样本，但事实上是负样本。
TN：True Negative,被判定为负样本，事实上也是负样本。
TP：True Positive,被判定为正样本，事实上也是证样本。
1.Accuracy (准确率)
$ac=\frac{TP+TN}{TP+TN+FP+FN}$

2.Precision(精确率、查准率)
$P=\frac{TP}{TP+FP}$
解释：正样本占分类器所分的正样本的比例

3.Recall(召回率，查全率)
$R=\frac{TP}{TP+FN}$
解释：正样本占真正的正样本的比例

二、现实模型中的准招率

1.正样本的准确率，召回率

我们平常所说的准确率，召回率通常指正样本的，因为我们模板大多比较关心正样本。
$P=\frac{TP}{TP+FP}$
$R=\frac{TP}{TP+FN}$

2.负样本的准确率，召回率

$P=\frac{TN}{TN+FN}$
$R=\frac{TN}{TN+FP}$

3.整个样本的准确率，召回率

这里就要考虑宏平均和微平均

宏平均（Macro-averaging）

是先对每一个类统计指标值，然后在对所有类求算术平均值。

微平均（Micro-averaging）

是对数据集中的每一个实例不分类别进行统计建立全局混淆矩阵，然后计算相应指标。

三、F1值

F1值是精确率和召回率的调和均值，即F1=2PR/(P+R)，相当于精确率和召回率的综合评价指标。

四、PR曲线

五、ROC曲线

1.定义

ROC全称是“受试者工作特征”(Receiver OperatingCharacteristic)曲线。我们根据学习器的预测结果，把阈值从0变到最大，即刚开始是把每个样本作为正例进行预测，随着阈值的增大，学习器预测正样例数越来越少，直到最后没有一个样本是正样例。在这一过程中，每次计算出两个重要量的值，分别以它们为横、纵坐标作图，就得到了“ROC曲线”。

2.横纵坐标轴

纵坐标：真阳率：$TPR=\frac{TP}{TP+FN}$
横坐标：假阳率(误判率)：$FPR=\frac{TP}{TN+FP}$

3.为什么ROC曲线比PR曲线稳定

1.如果正负样本比例差不多，roc曲线和pr曲线基本一致。
2.如果样本比例失调，roc曲线比pr曲线更能判定模型好坏。
3.举个极端的例子：
100个去医院看病，其中99个艾滋病，一个正常人，结果医生将100个人都看成艾滋病人。则：
TP=99
FP=1
TN=0
FN=0
则：P=99%,R =100%,则PR曲线的效果就很好，实际分类效果不好
而：ROC曲线：TPR=100% ，FPR=100%，可看出ROC曲线效果不好，与实际一直。可以看出ROC曲线更好

六、AUC值