实战人品预测之三_向高手学习

 这是本系列“实战人品预测”的最后一篇：向高手学习。在之前的两篇：《实战人品预测之一国内大数据竞赛平台》和《实战人品预测之二热门模型xgboost》中我们尝试了DataCastle平台的“微额借款用户人品预测大赛”，对数据不做任何处理，仅用xgboost模型，经过50000次迭代，最终得分0.70，据说该代码最高得分可到0.717。距比赛中的最高分0.734仅0.017之差。前400名得分均在0.70以上，这最后的差距究竟在哪？
 本篇以学习冠军“不得直视本王”（后简称大王）的竞赛报告书和代码的方式，向大王致敬，同时对比自己的不足，开拓思路，学习一些书本上没有的实战技巧。
 竞赛报告书原文：http://blog.csdn.net/bryan__/article/details/50977513，内附源码地址。

１. 思路

 我们看到大多数挖掘比赛都不修改模型，甚至上来就直接代入xgboost。参赛者的主要的工作是：特征工程，模型调参，组合模型。模型调参在上篇上已经详细说过了，本篇以介绍特征工程和组合模型为主。

２. 特征工程

 下面列出了大王在特征工程中所做的工作，带*的是一些较新的思路。

(1) 样本与缺失值 *

 统计各样本的缺失值数据，把缺失值个数也作为一个特征，并用它排序，做图观测缺失值的分布规律。并剔除缺失值高于某一边界值的数据。

(2) One-Hot Encoding

 有些算法只支持数值型数据，在枚举字段到数值型的转换过程中，如果把“男”，“女”，“小孩”，变为0,1,2，则“男”与“小孩”间的距离为２，大于“男”与“女”间的距离，这并不合理。于是变为{0,0,1},{0,1,0},{1,0,0}，这就是One-Hot编码。
 具体实现使用工具：from sklearn.preprocessing import OneHotEncoder

(3) 排序特征 *

 如果表中存储的是期末考试成绩，实例是人，特征是科目，那么排序特征就是某人在此科目的排名。这么做是为了加强对异常数据鲁棒性。
 实现方法形如：
test_rank['r'+feature] = test[feature].rank(method='max')
 大王代码中的svm就是用排序特征做的，成绩0.69。

(4) 离散特征

 使用排序特征做等量划分离散化。使用成绩的例子，就是把每个科目排序再分成10个组1-10。如果排名对应到其中一个组，你的值是3，则说明你的排名在20%-30%之间。

(5) 记数特征

 离散特征累加得到记数特征。用n1…n10表示，n5中存的是离散特征中有几个5，以此类推。
 排序特征->离散特征->记数特征，也是数学意义上的层层抽象。程序通过feature.csv对不同类型的数据拆分处理。并把新生成的特征（离散，记数…）和旧有特征放在一起，再做特征筛选。

(6) 特征筛选（feature_select）*

 由于缺失数据太多，影响了相关性，大王也使用了特征选择，而非降维。对于原数据，排序数据，离散数据使用的都是xgb做的特征选择，xgb提供的get_fscore()函数，可取得特征评分。
 原理是xgb是一个boosting模型，它会在迭代过程中不断给上一次分错的特征加权，最终使得不同特征具有不同权重。

３. 组合模型

 代码中M1-M5目录分别是大王不同的尝试

(1) M1：

 独立模型，包含了单独使用xgboost和svm的代码。

(2) M2：

 Bagging方式抽取特征，预测后取平均。

(3) M3：

 模型融合，主要是融合差异大的模型，然后对模型预测出的结果加权平均。

４. 半监督学习

(1) M4：

 预测的无标签数据，其中score得分低于a或高于b的加入训练集，通过线上评分评测，调整a,b不断迭代。以扩充训练集。

(2) M5：

 预测的无标签数据，做多次xgboost，选取线下auc提升最大的组合top500，从中抽实例加入训练集，观测线上表现，保留提分的样本。
 观测线上表现，保留提分的样本，是比赛特有的方法。这也是为什么有些比赛，明明数据不充分，也有人达到了100%的线上正确率的原因。