数学建模——用于模型评估的几个概念（纯概念）

• 查准率与查全率

查准率，就是所有预测结果中正确值所占的比例。而查全率则是实际结果中被预测到的值所占的比例。这样讲，为免太抽象，所以就用这么一张图来演示，以居民收入普查为例，要预测收入大于定于5万的人：

设接受普查的居民为全集；1+2为真实值的集合；2+3是预测值的集合：

查准率越高，命中的真确结果个数越多，预测准确性越高 。查全率越高，预测的完整性越高。为了用于表示以上这些东西，我们定义了一个叫做混淆矩阵的东西。

---

• 混淆矩阵

混淆矩阵的行表示预测值信息，列表示真实值信息。当值为1时，表示满足条件，即收入大于等于5万；反之为零时表示小于5万。示意如图所示

：

注：1行1列代表图中蓝色的2；1行0列代表黄色的3；0行1列代表白色的1；0行0列则是全集剩下的部分。所以仔细观察可以条件概率来推导：

                                       

Precision是查准率，Recall是查全率。

---

• 指标定义

很明显，这两个值是越高越好。可是然而，查准率与查全率往往存在此消彼长的关系。为了定义评估模型的量我们引入了F1Score，来综合表示查准率和查全率的准确性：

为了定义不同场景下的查全查准率，引入Fbeta Score：

                                                    

 

β越接近0，越接近查准率；β越接近+∞，越接近查全率。可以用这张图帮助记忆：

                    

最后一步自然是评估模型。

---

 

• 模型的评估——ROC曲线和AUC指标

定义真阳性率（TPR）和为阳性率（FPR），其实说白了，就是将查准率与查全率表达式的分母交换一下：

                                                              

TPR代表预测的收益，FPR则是预测代价。它们是用来描述ROC空间的，它的横轴是FPR（代价），纵轴是TPR（收益）。（0，1）坐标表示完美预测结果，所以点越靠近左上越完美。

这是ROC空间示例：

               

注：落在对角线下方的点，要沿对角线翻转。

作出ROC曲线后，它与x轴围成的面积即为AUC（曲线下面积）。一般来说AUC越大模型越好，如图示例：

                                       

---

END