python (PSI)模型分和特征稳定性评估指标

@[TOC](python (PSI)模型分和特征稳定性评估指标)

由于模型是以特定时期的样本所开发的，此模型是否适用于开发样本之外的族群，必须经过稳定性测试才能得知。稳定度指标(population stability index ,PSI)可衡量测试样本及模型开发样本评分的的分布差异，为最常见的模型稳定度评估指针。其实PSI表示的就是按分数分档后，针对不同样本，或者不同时间的样本，population分布是否有变化，就是看各个分数区间内人数占总人数的占比是否有显著变化。公式如下：

对一批数据求每月的psi，数据如下：

我采用的是两个月为基准（以个人实际情况修改代码），等宽分箱成10个区间，去计算每个月的psi，（由于我的需求是不只要把每月的psi求出来，还要求每个区间的样本数，占比以及ln值都要列出来，所以我的代码会相对复杂，仔细看是很简单的，）
代码如下：

def data_month_psi(df,nameks):  # nameks是特征名字
    
    ## 为了计算psi
    labels=['c'+str(i) for i in range(10)]
    # True_out,bins=pd.qcut(df['result'],q=10,retbins=True,labels=labels, duplicates='drop')
    True_out,bins=pd.cut(df['result'],bins=[0,0.1,0.2,0.3,0.4,0.5,0.6,0.7,0.8,0.9,1],retbins=True, labels=labels)
    df['True_out'] = True_out
    # bins[0] = bins[0]-0.001 #cut左开右闭，之前最小值再分组后组记号为空，这里减0.01划到最左侧区间
    
    re_total = pd.DataFrame(columns=[ '月份', 'features', '区间', '基准数', '当月数','基准占比', '当月占比', 'sub', 'ln', 'PSI'])
    for i in range(0, len(df.月份.unique())):
        # 以前两个月为基准
        fri_m = df.月份.unique()[0]
        sce_m = df.月份.unique()[1]
        m = df.月份.unique()[i]
        data_ks_last = df.loc[(df['月份'] == fri_m) | (df['月份'] == sce_m),]
        data_ks = df.loc[df['月份'] == m,]
        
        a=pd.DataFrame(data_ks_last.True_out.value_counts()).rename(columns={'True_out':'基准占比'})
        a=a.applymap(lambda y : y/sum(a.基准占比))

        b=pd.DataFrame(data_ks.True_out.value_counts()).rename(columns={'True_out':'当月占比'})
        b=b.applymap(lambda y : y/sum(b.当月占比))

        re=pd.merge(a,b,left_index=True,right_index=True)
        re['月份'] = m
        re['基准数']= data_ks_last.True_out.value_counts()
        re['当月数'] = data_ks.True_out.value_counts()
        
        psi=0
        ln = []
        for i in range(len(re)):
            if re['基准占比'][i]==0:
                re['基准占比'][i]=0.000001
            if re['当月占比'][i]==0:
                re['当月占比'][i]=0.000001
            l=math.log((re['当月占比'][i]/re['基准占比'][i]))
            p=((re['当月占比'][i]-re['基准占比'][i])*(math.log((re['当月占比'][i]/re['基准占比'][i]))))
            
            ln.append(l)
            psi=psi+p
        
        re['sub'] = re['当月占比']-re['基准占比']
        re['ln'] = ln
        re['PSI'] = psi
        re['区间'] = re.index
        re['features'] = nameks
        re = re[[ '月份', 'features', '区间', '基准数', '当月数','基准占比', '当月占比', 'sub', 'ln', 'PSI']].sort_index(by = ["区间"],ascending = [True])
        re_total = pd.concat([re_total,re])

    return re_total

最后结果如下：（有些数据处理了所以打码了，怕你们有误解）

举例：

比如训练一个logistic回归模型，预测时候会有个概率输出p。
测试集上的输出设定为p1吧，将它从小到大排序后10等分，如0-0.1,0.1-0.2,…。
现在用这个模型去对新的样本进行预测，预测结果叫p2，按p1的区间也划分为10等分。
实际占比就是p2上在各区间的用户占比，预期占比就是p1上各区间的用户占比。
意义就是如果模型跟稳定，那么p1和p2上各区间的用户应该是相近的，占比不会变动很大，也就是预测出来的概率不会差距很大。

一般认为PSI小于0.1时候模型稳定性很高，0.1-0.25一般，大于0.25模型稳定性差，建议重做。

PS：除了按概率值大小等距十等分外，还可以对概率排序后按数量十等分，两种方法计算得到的psi可能有所区别但数值相差不大。

本人会持续更新实际业务中经常用到的代码指标（python，sql都会有哦！请持续关注）