机器学习与评分卡
机器学习简介
什么是机器学习
- 如果一个系统能够通过执行某个过程改变它的性能，这就是学习（什么是学习）
- 不用编程去指定机器做什么，而是让机器有能力自己学习
- 首先定义任务T，经验E，表现P，如果机器有一个任务T，随着经验E的增多，表现P也会变好，则表示机器正在经验E中学习
三要素
- 模型（机器学习的成果，条件概率分布或决策函数）
- 策略（计算模型的方式）
- 算法
生活中的机器学习应用
- 垃圾邮件分类
- AlphaGo围棋AI
- 医疗行业
- 人声识别
监督学习
学习一个模型，使模型对给定输入做出相应的预测输出，流程如下图
其中自变量x为自变量，是实例的特征向量；y为因变量，是实例的结果。
监督学习主要解决分类与回归两类问题
监督学习实例
已知房价，平米数的训练集如下：
| 平米数 | 房价（万） |
|---|---|
| 50 | 50 |
| 80 | 70 |
| 100 | 90 |
| 130 | 110 |
| 150 | ？？？ |
给定一个平米数，预测该面积房价。
无监督学习
从数据中自主学习，分析数据的类别结构
评分卡介绍
什么是评分卡（信贷场景中）
- 以分数的形式来衡量风险几率的一种手段
- 对未来一段时间内违约/逾期/失联概率的预测
- 通常评分越高越安全
- 根据使用场景分为反欺诈评分卡、申请评分卡、行为评分卡、催收评分卡
为什么要开发评分卡
- 风险控制的一个环节，根据已有数据提供逾期概率指标参考
评分卡的特性
- 稳定性
- 预测能力
- 等价于逾期概率
评分卡开发的常用模型
- 逻辑回归
- 决策树
- 组合模型
基于逻辑回归的评分卡理论依据
一个事件发生的几率（Odds），是指该事件发生的概率与该事件不发生概率的比值。若一个客户违约概率为p，则其正常的概率为1-p，由此可得：
Odds=p1−pOdds=p1−p
此时，客户违约的概率p可以表示为:
p=Odds1+Oddsp=Odds1+Odds
评分卡表达式为：
Score=A−Blog(Odds)Score=A−Blog(Odds)
其中A、B为常数。由于log函数在(0→+∞)(0→+∞)单调递增，所以当用户违约几率Odds越大时，Score评分越低。
通过给定
（1）某特定Odds时的Score值S0S0；
（2）该特定Odds值翻倍时Score增加值PD0PD0;
通过给定值S0S0与PD0PD0带入评分卡表达式，可求得A、B。
通过以上分析，求该用户评分Score的问题则转化为求用户违约对数几率log(Odds)log(Odds)的问题。
依照二元逻辑回归构造预测函数
hθ(x)=g(θTx)=11+e−θTxhθ(x)=g(θTx)=11+e−θTx
其中hθ(x)hθ(x)表示结果取1的概率。
推倒可得该事件的对数几率log(Odds)log(Odds)如下：
log(Odds)=logp1−p=loghθ(x)1−hθ(x)=log11+e−θTx1−11+e−θTx=θTxlog(Odds)=logp1−p=loghθ(x)1−hθ(x)=log11+e−θTx1−11+e−θTx=θTx
可以发现：在逻辑斯蒂回归模型中，输出Y=1的对数几率是输入条件x的线性函数。
θTx=∑i=1nθixi=θ0+θ1x1+θ2x2+...+θnxnθ=⎡⎣⎢⎢⎢θ0θ1...θn⎤⎦⎥⎥⎥,x=⎡⎣⎢⎢⎢x0x1...xn⎤⎦⎥⎥⎥θTx=∑i=1nθixi=θ0+θ1x1+θ2x2+...+θnxnθ=[θ0θ1...θn],x=[x0x1...xn]
由此可得log(Odds)=θ0+θ1x1+...+θnxnlog(Odds)=θ0+θ1x1+...+θnxn
回到信贷业务中
目标：寻找最理想的参数估计θθ使得模型预测的概率相对已有样本最准确。
方法：损失函数最小化求得θθ
逻辑回归的损失函数为对数损失函数（具体可由极大似然估计推倒）：
L(θ) =1m∑i=1mCost(hθ(x(i)),y(i))=−1m[∑i=1m(y(i)⋅log(hθ(x(i)))+(1−y(i))⋅log(1−hθ(x(i)))]L(θ)=1m∑i=1mCost(hθ(x(i)),y(i)) =−1m[∑i=1m(y(i)⋅log(hθ(x(i)))+(1−y(i))⋅log(1−hθ(x(i)))]
利用梯度下降法求得minL(θ)minL(θ),得到θθ
Repeat {
θj:=θj−α∂∂θj∑i=1m(hθ(x(i))−y(i))x(i)jθj:=θj−α∂∂θj∑i=1m(hθ(x(i))−y(i))xj(i)
}(同时更新所有θjθj)
数据处理流程
数据可视化
可以通过数据可视化来验证我们对数据分布的一些猜想，使我们对数据分布有一个清晰的认识和理解，并且由此设计一些合理的人工规则。
方式：
- 各种图形展现工具
用途：
- 理解数据
- 方便数据探索
- 辨别分析离群点
数据清洗
1.检验异常样本
根据对具体业务的理解和认识去除一些异常极端的数据。例如在对网页浏览量的分析，可能需要去除爬虫用户的浏览数据。
2.缺省字段的处理
数据样本的某些特征字段可能有缺省值，需根据缺省值多少与特征类型区分处理
- 缺省值很多时直接舍弃。作为特征加入的话，可能反倒带入噪声，影响最后的结果。
- 非连续特征缺省量适中时，将Nan作为一个新类别加入至特征中
- 连续特征缺省量适中时，考虑给定一个step(比如age，我们可以考虑每隔2/3岁为一个步长)，然后把它离散化，之后把NaN作为一个type加到属性类目中
- 缺省值很少时利用填充的办法进行处理。例如用均值、中位数、众数填充，模型填充等
特征分箱
分箱的定义
- 将连续变量离散化
- 将多状态的离散变量合并成少状态
分箱的重要性及其优势
- 离散特征的增加和减少都很容易，易于模型的快速迭代；
- 稀疏向量内积乘法运算速度快，计算结果方便存储，容易扩展；
- 离散化后的特征对异常数据有很强的鲁棒性；
- 离散化后可以进行特征交叉，由M+N个变量变为M*N个变量，进一步引入非线性，提升表达能力；
- 特征离散化以后，起到了简化了逻辑回归模型的作用，降低了模型过拟合的风险。
- 可以将缺失作为独立的一类带入模型。
WOE（Weight of Evidence）编码
评分卡模型中一般会将特征进行WOE编码。WOE是一种有监督的编码方式,将预测类别的集中度的属性作为编码的数值。
优势
- 将特征的值规范到相近的尺度上。 (经验上讲,WOE的绝对值波动范围在0.1~3之间)。
- 具有业务含义。(自变量取某个值时对因变量正负比例的一种影响)
缺点
- 每个箱都包含好坏两个类别，计算成本增加
WOE计算公式
WOE=log(Gi/GtotalBi/Btotal)WOE=log(Gi/GtotalBi/Btotal)
其中Gi,BiGi,Bi分别为自变量第i箱好样本个数与坏样本个数
求得WOE值取代原特征值做自变量进行训练。
数据采样
在数据正负样本不均衡情况下，当然正负样本不要求1:1，但是也不能太大。假如正负样本比例 1:10，把这样不均衡的数据直接放进模型中进行训练，准确率会很高，因为大部分都可以预测为负样本。但是训练出的模型泛化能力很弱。这时需要对数据进行采样，使得数据样本均衡。通常有四种办法来进行采样。
- 从负样本中抽取部分样本出来和正样本结合
- 正样本重复若干次
- SMOTE(原理及实现)
- 代价敏感学习
评分卡模型训练
算法
- 使用逻辑回归算法进行训练
两类错误
- 将坏人预测为正常借款人
- 将正常人预测为坏人
注意：在借贷业务中以上两种错误带来的代价不用！
应对
- 在目标函数或损失函数中增加逾期权重。
- 较差验证选择合适权