每日整理---模型监控方法以及评分卡模型

模型监控以及参数怎么使用

模型的监控主要是要看在线上的模型评分是否稳定，但是当参数说明模型评分有变化时，具体是进件整体的变化，还是某个特征源的变化并不能知道。所以要更改阈值，还是重训模型，还是不做改变，还需要具体问题具体分析。

具体调研两种参数

K-L相对熵是目前打分对于标准分布的偏差（有做校准,将校准分布作为标准分布）

需要注意的是kl相对熵不满足距离参数中对称的特征，所以KL相对熵不是距离参数

该值越接近0越好，计算python中有计算KL的函数  scipy.stats.entropy(P, Q)。两个分布需要先分别求得分布的概率值。

psi值是模型打分偏移情况的评估(当新上线一个模型时，把上线前几天的打分作为参照分布)

群体稳定性指标(population stability index), 公式： psi = sum(（实际占比-预期占比）/ln(实际占比/预期占比)) 举个例子解释下，比如训练一个logistic回归模型，预测时候会有个概率输出p。你测试集上的输出设定为p1吧，将它从小到大排序后10等分，如0-0.1,0.1-0.2,......。 现在你用这个模型去对新的样本进行预测，预测结果叫p2,按p1的区间也划分为10等分。 实际占比就是p2上在各区间的用户占比，预期占比就是p1上各区间的用户占比。 意义就是如果模型跟稳定，那么p1和p2上各区间的用户应该是相近的，占比不会变动很大，也就是预测出来的概率不会差距很大。 一般认为psi小于0.1时候模型稳定性很高，0.1-0.25一般，大于0.25模型稳定性差，建议重做。

计算psi值，按照百分位数划分区间，统计所有区间、高分段的值。

模型分数的变化可能由特征变化引起，也可能是模型本身不稳定引起，若是高分段总数量没变，而psi值变动较大，认为需要重训模型。若是psi值没变，高分段总数量变多，认为整体用户变好。