八、机器学习基础知识：分类性能评价指标

分类性能基本概念

与预测性能评价指标相类似，分类性能评价指标同样也是将模型计算得出的标签值与实际的真实标签值通过数学统计上的公式进行计算来获得它们之间的关系，以此来评价模型分类性能的好坏。在二分类时，常见的性能分类指标有准确率、精确率、召回率、F1-score、ROC曲线面积，在多分类时主要使用准确率、精确率、召回率以及F1-score进行比较，同时还可使用混淆矩阵对分类评价结果进行展示。下面对常见的分类性能评价指标进行介绍。
在了解常见的分类性能评价指标之前，首先需要了解以下几个基本概念：
假设在分类问题中类属性标签分别为0和1，将类属性标签为0的样本视作正样本，将类属性标签为1的样本视作负样本，则被模型正确分类为正样本的正样本被称为真正例（True Positive，简称TP），被模型正确分类为负样本的负样本被称为真负例（True Negative，简称TN）, 被模型错误分类为正样本的负样本被称为假正例（False Positive，简称FP），被模型错误分类为负样本的正样本被称为假负例（False Negative，简称FN）。
基于上述概念，几种常见的分类性能评价指标分别如下：

1、准确率

分类准确度主要通过计算分类正确的数据与数据总量之间的比值获得，其计算公式如下：

其中n_correct表示分类正确的样本数量，n_total表示总样本个数。

1、精确率

精确率是指对于分类为某种类属性标签的样本中实际分类正确的概率，则针对类属性标签0与类属性标签1，其精确率的计算方式分别为：

2、召回率

召回率主要是指将某种类属性标签分类正确的概率，与精确率以分类结果为比较依据不同，召回率是以实际结果作为比较依据，针对类属性标签0与类属性标签1，其召回率的计算方式分别为：

3、F1-score

F1-score是精确率与召回率的调和平均值，其计算公式为：

4、ROC曲线

在ROC曲线中，横轴表示假阳率（False Positive Rate），纵轴表示真阳率（True Positive Rate），假阳率表示被分类错误的负样本占负样本总数的比例，真阳率表示被分类正确的正样本占正样本总数的比例。当模型的分类效果越好时，此曲线越往图的左上角偏移，即使用ROC曲线的面积对分类结果的好坏进行评价，面积的取值范围在0到1之间。

5、多分类问题中的相关指标

多分类与二分类在进行上述指标的计算时存在的最大区别在于多分类首先需要针对每个不同的类属性标签进行计算，然后通过平均的方式获得最后的结果。目前常用的平均方式有三种，这三种分别为宏平均、微平均以及加权平均。
宏平均（Macro Average）为对所有类属性标签的计算结果进行算数平均，以精确率为例，宏平均的精确率计算公式为：

其中n表示类属性标签的类别总个数，Precision_i表示类属性标签i的精确率。
微平均（Micro Average）是指将所有的类属性标签预测情况进行综合相加计算，假设每种类别预测正确的个数为TP_i，预测错误的个数为FP_i，以精确率为例，微平均的精确率计算公式为：

加权平均（Weighted Average）则是根据每种类属性标签个数占总标签个数的比例来进行加权计算，以精确率为例，加权平均计算公式如下：

其中n_i表示类属性标签i的总个数，n_total表示类属性标签的总个数。
加权平均的原理与宏平均相同，区别在于加权平均更多的考虑到了每个类属性标签数量占总数量的比重，而微平均的计算原理与准确率的计算原理相似。

6、混淆矩阵

混淆矩阵（Confusion Matrix）是一种以矩阵的形式直接表现模型分类结果的方法，其矩阵的行与列分别表示实际的类属性标签与预测的类属性标签，通常通过绘图的形式对其进行描述，通过该矩阵可以直观的了解到实际类属性标签为i的样本被预测为类属性标签为j的样本的个数，下图为常见的混淆矩阵图，由此图可以看到，样本的个数与该矩阵块的颜色直接相关，颜色越深，则样本数量越大。