机器学习算法——概率类模型评估指标3（可靠性曲线Reliability Curve）

可靠性曲线（Reliability Curve），又叫做概率校准曲线或可靠性图。这是一条以预测概率为横坐标，真实标签为纵坐标的曲线。我们希望预测概率与真实值越接近越好，最好两者相等。因此一个模型/算法的概率校准曲线越靠近对角线越好。校准曲线是我们模型评估指标之一。

和布里尔分数相似，概率校准曲线是对于标签的某一类来说的。因此一类标签就会有一条曲线，或者我们可以使用一个多类标签下的平均来表示一整个模型的概率校准曲线。但通常来说，曲线用于二分类的情况最多。

但是，以二分类为例，按上述的思路构图，会出现点全部集中于y=1和y=0两条直线上（因为我们的纵坐标是真实标签）。那这样的图对于我们来说没有意义。

可靠性曲线最终想展示给我们的是预测概率很靠近真实值。那我们的真实取值必然也需要是一个概率才可以，如果使用真实标签，那我们绘制出来的图像完全没有意义。但是，我们去哪里寻找真实值的概率呢？这是不可能找到的（如果我们能够找到真实的概率，那我们何必还用算法来估计概率呢，直接去获取真实的概率不就好了吗？）。但是我们可以获得类概率的指标来帮助我们进行校准。

简单的做法是，将数据进行分箱，规定每个箱子中真实的少数类所占的比例为这个箱上的真实概率trueproba，这个箱子中预测概率的均值为这个箱子的预测概率predproba，然后以trueproba为纵坐标，predproba为横坐标，来绘制可靠性曲线。

在sklearn中，可通过绘制可靠性曲线的类calibration_curve来实现。有以下参数：

y_true: 真实标签

y_prob: