金融风控训练营-Task01学习笔记

本学习笔记为阿里云天池龙珠计划金融风控训练营的学习内容，学习链接为：https://tianchi.aliyun.com/notebook-ai/detail?spm=5176.20850282.J_3678908510.2.ab144d57eebP1X&postId=170948

目录

一、学习知识点概要

二、学习内容

三、学习问题与解答

四、学习思考与总结

---

一、学习知识点概要

本文立足于阿里云天池AI训练营金融风控训练营Task 01的学习任务，目的在于理解赛事流程、内容、目标以及赛题数据，学习分类算法相关关键词与知识点。本文将对本次学习中重要知识点进行抄录、加注，加深理解与记忆，同时方便后期赛事进行复习与参考。

二、学习内容

1、赛题数据的说明（变量）：

Sign	Description
ID	为贷款清单分配的唯一信用证标识
LoanAmnt	贷款金额
Term	贷款期限（单位：年）
InterestRate	贷款利率
Installment	分期付款金额
Grade	贷款等级
SubGrade	贷款等级之子级
EmploymentTitle	就业职称
EmploymentLength	就业年限（年）
HomeOwnership	借款人在登记时提供的房屋所有权状况
AnnualIncome	年收入
VerificationStatus	验证状态
IssueDate	贷款发放的月份
Purpose	借款人在贷款申请时的贷款用途类别
PostCode	借款人在贷款申请中提供的邮政编码的前3位数字
RegionCode	地区编码
Dti	债务收入比
Delinquency_2years	借款人过去2年信用档案中逾期30天以上的违约事件数
FicoRangeLow	借款人在贷款发放时的fico所属的下限范围
FicoRangeHigh	借款人在贷款发放时的fico所属的上限范围
OpenAcc	借款人信用档案中未结信用额度的数量
PubRec	贬损公共记录的数量
PubRecBankruptcies	公开记录清除的数量
RevolBal	信贷周转余额合计
RevolUtil	循环额度利用率，或借款人使用的相对于所有可用循环信贷的信贷金额
TotalAcc	借款人信用档案中当前的信用额度总数
InitialListStatus	贷款的初始列表状态
ApplicationType	表明贷款是个人申请还是与两个共同借款人的联合申请
EarliesCreditLine	借款人最早报告的信用额度开立的月份
Title	借款人提供的贷款名称
PolicyCode	公开可用的策略代码=1新产品不公开可用的策略代码=2
n系列匿名特征	匿名特征n0-n14，为一些贷款人行为计数特征的处理

由上表，本次赛题所提供数据中所涉及的数据类型共有31种变量以及14种匿名特征，于本次庞大的赛题数据而言无疑是加重了模型的计算量。故本文认为应当在模型的建立过程中对上述45种变量进行筛选，或者加以权重系数、相关性。

 

2、赛题的结果评分细则（预测指标）：

 

关键词：AUC，ROC曲线，P-R曲线。

 

（1）以下先行介绍分类算法常见评估指标。

 

• 混淆矩阵（Confuse Matrix）

  如有150个样本数据，预测为1,2,3类各为50个。分类结束后得到的混淆矩阵为：

  

  其中，每一行之和表示该类别的真实样本数量，每一列之和表示被预测为该类别的样本数量。

  第一行说明有43个属于第一类的样本被正确预测为了第一类，有两个属于第一类的样本被错误预测为了第二类。

  该表能够直观根据数据位于对角线以外从而反应机器识别的错误所在。

  1）若一个实例是正类，并且被预测为正类，即为真正类TP(True Positive )

  2）若一个实例是正类，但是被预测为负类，即为假负类FN(False Negative )

  3）若一个实例是负类，但是被预测为正类，即为假正类FP(False Positive )

  4）若一个实例是负类，并且被预测为负类，即为真负类TN(True Negative )

		预测情况
		正例（T）	反例（F）
真实情况	正例（P）	真正例（TP）	假反例（FN）
	反例（N)	假正例（FP）	真反例（TN）

实操：

## 混淆矩阵
import numpy as np
from sklearn.metrics import confusion_matrix
y_pred = [0, 1, 0, 1]
y_true = [0, 1, 1, 0]
print('混淆矩阵:\n',confusion_matrix(y_true, y_pred))

 

• 准确率（Accuracy）

利用上述混淆矩阵，可对所定义的四种类以预测正确的类数占比表示准确率：

 

                                      

准确率是常用的一个评价指标，但是不适合样本不均衡的情况，原因是当预测正确类数占比小时，误差增大。

 

实操：

## Accuracy
from sklearn.metrics import accuracy_score
y_pred = [0, 1, 0, 1]
y_true = [0, 1, 1, 0]
print('ACC:',accuracy_score(y_true, y_pred))

 

• 精确率（Precision）（ 又称查准率）：

                                              

同上利用混淆矩阵，以所有预测为正样本当中的正样本（预测正确）的占比表示：

关注点为预测效果，表示在预测的正例中有多少为真正的正例，反应模型的预估精准程度。

 

• 召回率（Recall） （又称为查全率）：

 

                                            

同上利用混淆矩阵，以所有正样本当中被正确预测出来的占比：

关注点为原本属性，指的是在所有的正样本中有多少被机器正确识别出来。

 

• F1 Score

由上述精确率和召回率公式可得，二者的是具有相关性的，精确率升高则召回率下降，召回率升高则精确率下降。因此定义一个精确率和召回率的调和平均数：

                        

精确率，召回率，F1 Score实操：

## Precision,Recall,F1-score
from sklearn import metrics
y_pred = [0, 1, 0, 1]
y_true = [0, 1, 1, 0]
print('Precision',metrics.precision_score(y_true, y_pred))
print('Recall',metrics.recall_score(y_true, y_pred))
print('F1-score:',metrics.f1_score(y_true, y_pred))

 

• P-R曲线（Precision-Recall Curve）：

是以召回率为横坐标，以精准率为纵坐标，不同的阈值对应不同的P-R曲线上的点。

 

• 阈值：于混淆矩阵之前给出，用以区分正负例，当阈值为1时，所有的样本都会被判定为负样本，当阈值为0时，所有的样本都会被判定为负样本。

   

  P-R曲线的绘制实操：

  ## P-R曲线
  import matplotlib.pyplot as plt
  from sklearn.metrics import precision_recall_curve
  y_pred = [0, 1, 1, 0, 1, 1, 0, 1, 1, 1]
  y_true = [0, 1, 1, 0, 1, 0, 1, 1, 0, 1]
  precision, recall, thresholds = precision_recall_curve(y_true, y_pred)
  plt.plot(precision, recall)

  

   

• TPR：在所有实际为正例的样本中，被正确地判断为正例之比率。

                                               

• FPR：在所有实际为负例的样本中，被错误地判断为正例之比率。

                                              

• ROC曲线：

  又称感受性曲线。该曲线图像位于的坐标图内含虚惊概率FPR（横轴），击中概率TPR（纵轴），该曲线上的点表示对类别（信号）的刺激所作的反应。不同阈值会确定不同的曲线上的点，总体上曲线位于（0，1）x（0，1）内，原点出对应阈值为1，即所有的样本均被判定为反例，即TP/FP都等于0。

 

• ROC曲线绘制实操：

  ## ROC曲线
  from sklearn.metrics import roc_curve
  y_pred = [0, 1, 1, 0, 1, 1, 0, 1, 1, 1]
  y_true = [0, 1, 1, 0, 1, 0, 1, 1, 0, 1]
  FPR,TPR,thresholds=roc_curve(y_true, y_pred)
  plt.title('ROC')
  plt.plot(FPR, TPR,'b')
  plt.plot([0,1],[0,1],'r--')
  plt.ylabel('TPR')
  plt.xlabel('FPR')

  

   

 

• AUC（Area Under Curve）：其值定义为"ROC曲线"与坐标轴所围成的面积，由上述ROC曲线可知，AUC的取值范围在0~1之间，AUC越接近1.0，检测方法真实性越高;等于0.5时，则真实性最低，无应用价值。

 

根据上述ROC求AUC值实操：

## AUC
import numpy as np
from sklearn.metrics import roc_auc_score
y_true = np.array([0, 0, 1, 1])
y_scores = np.array([0.1, 0.4, 0.35, 0.8])
print('AUC socre:',roc_auc_score(y_true, y_scores))

 

（2）以下介绍金融风控预测类常见的评估指标：

• KS统计量：(Kolmogorov-Smirnov)：

在风控中，KS常用于评估模型区分度。区分度越大，说明模型的风险排序能力（ranking ability）越强。其中K-S曲线将TPR和FPR均作为纵轴，由不同的阈值组成横轴，公式如下：

 

                                             

KS不同代表的不同情况，一般情况KS值越大，模型的区分能力越强，但是也不是越大模型效果就越好，如果KS过大，模型可能存在异常，所以当KS值过高可能需要检查模型是否过拟合。以下为KS值对应的模型情况，但此对应不是唯一的，只代表大致趋势。

KS（%）	好坏区分能力
20以下	不建议采用
20-40	较好
41-50	良好
51-60	很强
61-75	非常强
75以上	过于高，疑似存在问题

使用ROC曲线配合求出KS值：

## KS值 在实际操作时往往使用ROC曲线配合求出KS值
from sklearn.metrics import roc_curve
y_pred = [0, 1, 1, 0, 1, 1, 0, 1, 1, 1]
y_true = [0, 1, 1, 0, 1, 0, 1, 1, 1, 1]
FPR,TPR,thresholds=roc_curve(y_true, y_pred)
KS=abs(FPR-TPR).max()
print('KS值：',KS)

 

 

3、赛题流程：

对于赛题的解题过程大致可以分成四个步骤：数据EDA分析处理、特征工程、建模调参、模型融合。

其中更为细致的内容将于以后学习触及。

三、学习问题与解答

• Q1、什么是分类算法？

  A1：数据挖掘中通常将一个任务分为预测任务和描述任务。而分类属于预测任务，就是通过已有数据集（训练集）的学习，得到一个目标函数f（模型），把每个属性集x映射到目标属性y（类），且y必须是离散的。这好比与对训练集做回归模型分析而得目标函数。

 

• Q2、本次赛题需要满足怎样的结果才算合格？

  A2：根据训练集所提供的数据，获得一个模型函数以得出借贷方是否会违约，从而判断是否通过此项贷款。利用该模型计算大赛提供的测试集数据，得出最终结果。但是”是否违约“这种描述过于绝对，很多情况所得结果应该是”有多少的概率违约“，倘若概率高但是不至于超过某一界限值，是否可以考虑给予放贷但是通过降低放贷额度拉底违约概率率？

四、学习思考与总结

在2020年全国数学建模竞赛C题里，接触了“中微小银行的房贷策略及风险评估”，当时的解题方式是通过TOPSIS模型以及主成分分析将所有的自变量（影响条件）进行熵权，并对借贷方进行”赋分“，根据分数高低考虑是否放贷以及房贷数目。

而在本次对于金融风控赛事的了解过程中，发现在金融风控层面对于违约风险有了另一套做法，通过合适分类算法对影响因素进行分类，区分重要性。或是对借贷人进行层次分类，都是不错的选择。

尽管方式不同，但是解决相同的数学问题似乎在某一层面上有共通之处，据目前了解，在本次学习过程中，对于预测借贷方的指标最后依旧是”得分“，过程更是”分类（熵权）—求值—判断“。

 

 

---

学习参考：

真假正负例、混淆矩阵、ROC曲线、召回率、准确率、F值、AP

混淆矩阵、准确率、精确率、召回率、真正率、假正率、ROC/AUC、PRC理解与感悟

分类算法简述