【转】关于数据挖掘:PSI公式模型数据稳定性指标

关于数据挖掘:PSI公式模型数据稳定性指标【转】
2021-03-15

因为模型是以特定期间的样本所开发的，此模型是否实用于开发样本之外的族群，必须通过稳定性测试能力得悉。稳定度指标(population stability index ,PSI)可掂量测试样本及模型开发样本评分的的散布差别，为最常见的模型稳定度评估指针。其实PSI示意的就是按分数分档后，针对不同样本，或者不同工夫的样本，population散布是否有变动，就是看各个分数区间内人数占总人数的占比是否有显著变动。公式如下：

这里的AC与EX为不同时间段的模型输入分数，如果PSI过大，阐明模型输入的分数散布变化很大了，须要更新模型。

PSI理论利用范例：

1）样本外测试

针对不同的样本测试一下模型稳定度，比方训练集与测试集，也能看出模型的训练状况，我了解是看出模型的方差状况。

2）工夫外测试

测试基准日与建模基准日相隔越远，测试样本的危险特色和建模样本的差别可能就越大，因而PSI值通常较高。至此也能够看出模型建的工夫太长了，是不是须要从新用新样本建模了。

变量的PSI计算：

PSI：测验变量的稳定性，当一个变量的psi值大于0.0001时，变量不稳固。

一个变量，将它的取值依照分位数来分组一下，每一组中测试模型的客户数占比减去训练模型中的客户数占比再乘以这两者相除的对数，

就是这一组的稳定性系数psi，而后变量的psi系数就是把这个变量的所有组的psi相加总起来。

======================

PSI群体稳定性指标(population stability index)

psi = sum(（理论占比-预期占比）/ln(理论占比/预期占比))

举个例子解释下，比方一个评分卡模型，按天为维度计算PSI，咱们把模型刚上线第一天(设定为一个基期)的各分数段用户占比作为预期占比P1，之后每天的各分数段用户占比作为理论占比P2,这样依据公式就能够计算出每天的PSI值，通过观测这些PSI的大小和走势，从而实现对评分卡稳定性的监测。通常PSI会以日、周和月为维度进行计算，同时也会对评分卡模型中各个特色变量别离做PSI监测。

模型分数的变动可能由特色变动引起，也可能是模型自身不稳固引起，若是高分段总数量没变，而psi值变动较大，认为须要重训模型。

若是psi值没变，高分段总数质变多，认为整体用户变好。