金融反欺诈 常用特征处理方法

金融风控相关业务介绍

• 早期信贷风控怎么做？

  • 人审靠业务经验，效率低

  • 不适用于移动互联网时代的金融场景

• 建模的概念

  • 建模就是构造一个数学公式，将我们手上有的数据输入进去，通过计算得到预测结果

  • 风控模型最原始的思路就是输入用户的信息，得到这个人 “会还钱” 还是 “不会还钱”。这就是个二分类问题。

  • 而评分卡模型就是希望能将一系列的个人信息输入模型，然后得到一个用户的还款概率

    • 概率越大，评分越高，越容易还钱

    • 概率越小，评分越低，越容易跑路

    • 典型例子就是芝麻信用分。

• 为什么一定要应射成某种分数呢

  • 有分数刻度的好处

  • 我们可以随时根据业务需求调整通过率

  • 更容易向用户解释他的信用评级

  • 更容易向领导解释一个用户被拒绝的原因

  • 更容易监控一个模型的效果

• 风控流程 风控的角度来看，基本上可以归结为以下几个部分： 数据采集 反欺诈 策略 模型 催收

• 数据采集 数据采集会涉及到埋点和爬虫技术，基本上业内的数据都大同小异。免费的运营商数据、和安卓可爬的手机内部信息（app名称，手机设备信息，部分app内容信息）、以及收费的征信数据、各种信息校验、外部黑名单之类的。还有一些特定场景的现金贷和消费金融会有自有的数据可供使用，比如阿里京东自己的电商数据、滴滴的司机数据、顺丰中通的快递数据等等。由于不涉及爬虫，这一块主要让大家理解一下都可以做些什么变量。

• 反欺诈引擎 反欺诈引擎主要包括两个部分，反欺诈规则和反欺诈模型。这里其实很少使用传统监督模型。涉及到的算法以无监督算法、社交网络算法、深度学习居多。大部分的公司都使用的是反欺诈规则，这也是主要提倡的。一个原因是欺诈标签不好得到，很难做监督学习的训练。还有一个原因是传统的机器学习对欺诈的检测效果很差。因为所谓欺诈，就是一些黑产或者个人将自己包装成信用良好的用户，进行借款后失联或者拒不还钱。既然都伪装成了好客户，基于风控人员主观思考建立的统计模型，又怎么可能有好的效果。但是经过一段时间的实验，这一块其实用深度学习反而有意想不到的效果，基本思想可以理解为，简单评分卡解释性强，带来的坏处就是可以被逆向破解，而复杂模型的黑箱操作虽然解释性差，却有一定的安全性，尤其是搭配了在线学习等动态手段之后。反向破解的成本极高。此外还有很多算法诸如异常检测和知识图谱都在这一块有所应用。

• 规则引擎 规则引擎其实就是我们常说的策略，主要通过数据分析、挖掘手段以及一些监督、无监督算法，得到不同字段、各个区间的坏账率（badrate），找到最佳分段区间，然后得到筛选后信用较好的一批特定人群进行放款。这一块主要有单变量分析和一些关键指标的计算和监控，比如Rollrate、PSI、KS、AUC，等等。通常规则和模型是组合使用的，尤其在反欺诈场景中。

• 风控模型 风控模型是机器学习在风控领域的主要体现。当然前面提到的反欺诈模型也是重点之一。主要是通过监督算法构建违约概率预测模型。但是因为实际业务中，是数据的质量并不是永远那么完美，这里通常我们会使用到深度学习、无监督、弱监督等等方法去辅助 传统监督学习算法。 风控模型其中包含了A/B/C卡。模型算法之间可以没有显著区别，而是根据其发生的时间点不同而进行划分的

  • 贷前 申请评分卡 Application score card A卡可以用客户历史逾期天数最大的天数

  • 贷中 行为评分卡 Behavior score card B卡则可以多期借款中逾期最大的一次

  • 贷后 催收评分卡 Collection score card C卡 是否被内催催回来定义y

  • 也就是y产生的方式不一样。通常信贷领域都是用逾期天数来定义y

  • C卡因为用途不同有不同的建立方法。比如你们公司有内催，有外催。外催肯定是回款率低，单价贵的。那么就可以根据是否被内催催回来定义y。

• 催收 催收是风控的最终手段。这个环节可以产生很多对模型有帮助的数据。比如催收记录的文字描述、触达率、欺诈标签等等。并且坏账的客户会被列入黑名单。其实只要是能被催回来的，都不是坏账。但是很多公司为了保险起见，逾期超过一定时间的客户，即使被催回来，也会被拉入黑名单。这里主要的算法就是催收模型相关的，可能是监督、无监督算法。也有基于社交网络算法构造的失联模型等等。

• 几个概念 Badrate： 坏人占比 MOB (month on book)：开卡时长 Vintage分析法是一种动态分析法，用来分析不同时期资产的表现情况，它以贷款的账龄为基础，观察每批放款贷后1,2,3…N个月时的逾期情况。 Roll-Rate分析追溯贷款状态之间每月的迁移情况，展示了每批贷款进入下一个逾期状态的概率。

金融反欺诈 常用特征处理方法

用户基本属性

phone_nember

• 手机号前缀，归属地是否相同

• 是否是虚拟运营商

• 流量卡还是通话卡

电话本备注 nickname

• 昵称符合固定的规律（中文+数字）

• 备注是否符合某种亲密的称呼

birthday

• 年纪 星座 生肖

sex

• 性别是否失衡

password

• 是否都相同

身份证号码

• 年龄 核对

• 性别 核对

• 城市

邮箱

• 是否是一次性邮箱

• username 满足规律

• 是否同一邮箱服务商

• 邮箱里面的数据（账单）

学历

• 相似性

住房

• 租房情况是否雷同

积分

• 是不是超过某个阈值

签到

• 相似性

ip

• 是否是同一个号段

• 每次登录ip地址是否相同

• 是不是临时ip 和 gps

• ip 和 gps 是否能对的上

gps

• 经纬度相似性分析

• 国家 省份 城市 相似性

• ip 和 gps 是否能对的上

wifi

• ssid

• wifi list

• 贷款前的几分钟有没有切换过wifi

application time

• 时间切片

• 注册用了多长时间（太快太慢都有问题）

• 一共申请了几次

login time

• 时间切片

• 登陆了几次、频率

• 最后一次登录时间距贷款时间的间隔

• 同一时间登录做一个校验（同一时间多人登录）

ua（user agent）

• 每次打开是否是同一个ua

渠道

• app/H5/微信

• 渠道ID属于违规渠道

app version

• 每次app的版本号是否相同

• app版本会不会太老了（老版本的app有bug，可能会被黑中介用来攻击我们）

推荐人/联系人

• 名字匹配

• 手机号匹配

 

设备指纹

imei

• 每次登录imei号是否都相同

device id

• 每次登录device id号是否都相同

分辨率

• 手机型号和屏幕分辨率是否一致

mobile type

• 手机品牌

• 手机型号

os（operating system）

• 每次打开操作系统是否都相同

• 来申请的人是否os都相同

• os的版本是否太旧

 

中文错别字可以考虑转换成拼音做相似度匹配

address

• 地址要标准化

• 模糊匹配

• 相似度计算（cos距离，词向量）

company

• 正则

• 字节拆分

• 关键字提取

• 相似度计算

• 错别字/同音字识别

 

第三方数据

人行征信

• 公司信息是否一致

• 学历是否一致

• 居住地址是否一致

• 手机号码是否一致

• 逾期数据

运营商

• 是否有相同的联系人

• 是否有黑名单客户在通讯录中

• 通话最频繁的几个人（所在地是否和他相同）

社保公积金

• 工资

• 社保

• 公积金

 

特征工程

特征选择 (feature_selection)

Filter

1. 移除低方差的特征 (Removing features with low variance)

2. 单变量特征选择 (Univariate feature selection)

Wrapper

1. 递归特征消除 (Recursive Feature Elimination)

Embedded

1. 使用SelectFromModel选择特征 (Feature selection using SelectFromModel)

2. 将特征选择过程融入pipeline (Feature selection as part of a pipeline)

当数据预处理完成后，我们需要选择有意义的特征输入机器学习的算法和模型进行训练。

通常来说，从两个方面考虑来选择特征：

特征是否发散

如果一个特征不发散，例如方差接近于0，也就是说样本在这个特征上基本上没有差异，这个特征对于样本的区分并没有什么用。

特征与目标的相关性

这点比较显见，与目标相关性高的特征，应当优选选择。除移除低方差法外，本文介绍的其他方法均从相关性考虑。

根据特征选择的形式又可以将特征选择方法分为3种：

• Filter：过滤法，按照发散性或者相关性对各个特征进行评分，设定阈值或者待选择阈值的个数，选择特征。

• Wrapper：包装法，根据目标函数（通常是预测效果评分），每次选择若干特征，或者排除若干特征。

• Embedded：嵌入法，先使用某些机器学习的算法和模型进行训练，得到各个特征的权值系数，根据系数从大到小选择特征。类似于Filter方法，但是是通过训练来确定特征的优劣。

特征选择主要有两个目的：

• 减少特征数量、降维，使模型泛化能力更强，减少过拟合；

• 增强对特征和特征值之间的理解。

拿到数据集，一个特征选择方法，往往很难同时完成这两个目的。通常情况下，选择一种自己最熟悉或者最方便的特征选择方法（往往目的是降维，而忽略了对特征和数据理解的目的）。接下来将结合 Scikit-learn提供的例子 介绍几种常用的特征选择方法，它们各自的优缺点和问题。