数据建模的一般流程

1.业务理解

业务的理解是做好模型的前提，才能更好的指标模型的方向，一般包括以下几个方面：
1.建模的目的及目标
2.好坏标签的确定
3.时间窗口的确定
4.建模的时间周期

2.数据预处理

1.时间格式、特殊格式的处理
2.极值/异常值（箱线图和分位数）
3.缺失值（完全随机缺失、随机缺失、完全非随机缺失），补缺或作为一种状态
4.文本数据——主题提取NPL，优点准确详细，对风险评估非常有效，但缺点事需要足够多的训练样本
5.特征编码，优点：简单方便，易于处理，缺点：信息丢失很高，影响后续模型的效果

3.特征构造与衍生

1.计数法
2.求和法（求和、平均、最大、最小、方差、标准差等）
3.比例/比值法
4.时间差
5.波动率：选择过去1年个月份提前还款时间的方差、标准差
如：FRM模型法，通过交易的次数、交易的金额、交易时间段间隔进行构造变量

4.特征筛选

1.相关性，剔除相关性过高的变量
2.差异性，样本需要好坏样本间有一定的区分度
3.显著性，可通过变量IV值、特征重要度等指标衡量
4.稳定性，稳定性的重要性大于显著性和差异性

5.模型的训练与评估

1.评分卡模型
1）确定回归系数
2）逐步回归（向前、向后、向前向后等）
3）交叉验证与模型效果评估
4）确定回归方程及最终入模变量
5）概率与评分的转化

2.机器学习、深度学习模型
1）模型的训练，参数调优
2）交叉验证、模型效果评估，确定最终入模变量
3）概率预测，与评分的转化
4）模型的部署及上线等