【置信度校准】几种经典概率校准方法(Platt scaling、 histogram binning、 isotonic regression、 temperature scaling)

1. Platt scaling

Platt scaling本质上是对模型sigmoid输出的分数做概率变化。在此基础上引入了两个参数a, b,假设输入样本为$X_i$,模型输出分数为$f(X_i)$,则最终输出概率计算公式变为

 a, b参数优化通过最大化似然函数(最小化对数损失函数)的方法可以求得

2. histogram binning

对于所有输出未校准预测概率$p_i$,将其划分成$M$个bin,对于每个bin设置一个校准分数$theta_m$,如果预测概率$p_i$若如区间$B_m$,这将其设置为$p_i= \theta _m$

优化目标为:

3. isotonic regression

 给定模型预测的分数 $f_i$,真实的分数$y_i$,保序回归的模型公式为:

其中, $m$ 表示保序函数(单调递增函数)。所以保序回归的目标函数为:

举例理解可以在这个帖子里看:保序回归 Isotonic Regression-Python - 知乎 (zhihu.com)

4. temperature scaling

是Platt scaling的一个变体,在softmax公式基础上引入温度参数T,对输出分数修改,以达到概率校准的目的:

 优化目标函数是ECE函数

你可能感兴趣的:(机器学习,置信度校准,概率论,机器学习)