数据分箱——KS分箱/卡放分箱

目录

 

1.前言

2.定义

3.分箱的用处

4.分箱方法

4.1 KS分箱

变量的KS值

Best-KS分箱

4.2卡方分箱

---

1.前言

评分卡建模在金融行业应用得比较广泛，比如对客户的信贷诚信度进行评分。在建模过程中，对连续变量的分箱是一个必不可少的过程。

2.定义

何谓分箱，简单地说，分箱就是将连续变量离散化，将多状态的离散变量合并成少状态。

3.分箱的用处

离散特征的增加和减少都很容易，易于模型的快速迭代；
稀疏向量内积乘法运算速度快，计算结果方便存储，容易扩展；
列表内容离散化后的特征对异常数据有很强的鲁棒性：比如一个特征是年龄>30是1，否则0。如果特征没有离散化，一个异常数据“年龄300岁”会给模型造成很大的干扰；
列表内容逻辑回归属于广义线性模型，表达能力受限；单变量离散化为N个后，每个变量有单独的权重，相当于为模型引入了非线性，能够提升模型表达能力，加大拟合；
离散化后可以进行特征交叉，由M+N个变量变为M*N个变量，进一步引入非线性，提升表达能力；
列表内容特征离散化后，模型会更稳定，比如如果对用户年龄离散化，20-30作为一个区间，不会因为一个用户年龄长了一岁就变成一个完全不同的人。当然处于区间相邻处的样本会刚好相反，所以怎么划分区间是门学问；
特征离散化以后，起到了简化了逻辑回归模型的作用，降低了模型过拟合的风险。 可以将缺失作为独立的一类带入模型。
将所有变量变换到相似的尺度上。

4.分箱方法

分箱方法分为无监督分箱和有监督分箱。常用的无监督分箱方法有等频分箱，等距分箱和聚类分箱。有监督分箱主要有best-ks分箱和卡方分箱。

 

4.1 KS分箱

变量的KS值

KS(Kolmogorov-Smirnov)用于模型风险区分能力进行评估，指标衡量的是好坏样本累计部分之间的差距 。KS值越大，表示该变量越能将正，负客户的区分程度越大。通常来说，KS>0.2即表示特征有较好的准确率。强调一下，这
里的KS值是变量的KS值，而不是模型的KS值。（后面的模型评估里会重点讲解模型的KS值）。
KS的计算方式：

1. 计算每个评分区间的好坏账户数。
2. 计算各每个评分区间的累计好账户数占总好账户数比率（good%)和累计坏账户数占总坏账户数比率（bad%）。
3. 计算每个评分区间累计坏账户比与累计好账户占比差的绝对值（累计good%-累计bad%），然后对这些绝对值取最大值记得到KS值。

Best-KS分箱

Best-KS分箱的算法执行过程是一个逐步拆分的过程：

1. 将特征值值进行从小到大的排序。
2. 计算出KS最大的那个值，即为切点，记为D。然后把数据切分成两部分。
3. 重复步骤2，进行递归，D左右的数据进一步切割。直到KS的箱体数达到我们的预设阈值即可。

Best-KS分箱的特点：

• 连续型变量：分箱后的KS值<=分箱前的KS值
• 分箱过程中，决定分箱后的KS值是某一个切点，而不是多个切点的共同作用。这个切点的位置是原始KS值最大的位置。

 

4.2卡方分箱

卡方分箱是依赖于卡方检验的分箱方法，在统计指标上选择卡方统计量（chi-Square）进行判别，分箱的基本思想是判断相邻的两个区间是否有分布差异，基于卡方统计量的结果进行自下而上的合并，直到满足分箱的限制条件为止。

卡方统计量衡量了区间内样本的频数分布与整体样本的频数分布的差异性，在做分箱处理时可以使用两种限制条件：

（1）分箱个数：限制最终的分箱个数结果，每次将样本中具有最小卡方值的区间与相邻的最小卡方区间进行合并，直到分箱个数达到限制条件为止。

（2）卡方阈值：根据自由度和显著性水平得到对应的卡方阈值，如果分箱的各区间最小卡方值小于卡方阈值，则继续合并，直到最小卡方值超过设定阈值为止。

再补充两点，

1、由于卡方分箱是思想是相邻区间合并，在初始化时对变量属性需先进行排序，要注意名义变量的排序顺序

2、卡方阈值的自由度为 分箱数-1，显著性水平可以取10%，5%或1%