数据科学入门，使用 xgboost 初试 kaggle

此文主要用于个人备忘

---

kaggle 目前是散兵游勇使用真实数据进行机器学习实践的最佳场所，拥有真实的数据和大量有经验的参赛者，以及良好的讨论共享氛围。

基于树的 boosting/ensemble 方法在实战中取得良好效果，陈天奇提供的高质量的算法实现 xgboost 也使得构建基于该方法的解决方案更加容易高效，很多比赛的获胜方案都使用了 xgboost 。

本文记录一个从零开始到最终用 xgboost 给出一个完整模型的全部(简略但是完整)过程，如果你对机器学习有一些基本概念的了解，但是没有在真实数据上实战过，那么本文可能正对你需求，: )。

---

实战，Homesite Competition

不闻不若闻之，闻之不若见之；见之不若知之，知之不若行之；学至于行而止矣
-- 荀子

那我们开始一个具体的比赛，Homesite Competition ，这个比赛是保险公司根据以往的用户信息和保险报价，以及最后是否购买了保险这些数据，希望最后得到一个分类模型，根据用户信息和报价，预测该用户是否会购买该单保险。

有很多参赛者会放出自己的代码供大家参考讨论(在 kaggle 中这样一份供大家共享讨论的代码称为一个 kernel)。我们从一个简略但是效果还不错的基于 xgboost 的代码开始。

将 Homesite Competition 所需的数据和前面提到的 kernel 代码下载下来后，各文件的结构大致如下:

所需文件

如果你已经装好了 numpy, scikit-learn, pandas, xgboost 等需要的包，那么进入 src 文件夹运行代码就可以产出一份结果了。

---

代码详解

一行一行详细的介绍就太啰嗦了，挑一些重要的部分写上注释：

读入数据

首先是导入需要的包，然后读取数据，查看一下数据大概长什么样子:

读入数据

去掉无意义的feature

QuoteNumber 只是用来标识每单生意的一个属性，没有任何物理含义，可以放心地从 feature 中去掉，不用担心影响训练出的模型效果：

去掉一列没有用的属性

转换feature到更有物理含义的格式

发现数据中的日期只是 str, 我们需要将它转为 datetime :

检查日期属性

转换日期为datetime

如果我们将 datetime 转为年月日，则为物理含义更好的 feature:

将 datetime 转为年月日

然后就可以把 datetime 一列去掉了:

去掉 datetime 列

检查缺失值

其实这一步应该更早一点做，不过就本文中涉及的数据倒没太大影响。

发现数据中确实有缺失值，

检查是否有缺失值

看看这些缺失的数据大致在哪儿，长什么样:

看看缺失值在哪儿

虽然 xgboost 内置了对缺失值的处理，但是更合理的处理方式总是需要具体数据具体分析的，可以看 Detailed Data Cleaning/Visualization 这个kernel里是怎么对缺失值做处理的。
这里先简单处理一下，把所有缺失值填上一个不太可能出现的取值:

简单填充缺失值，这里当然可以做更细致的处理，如对数值类型的数据填上众数，但在这个任务里影响不大

对类别性质的feature做LabelEncode

现实数据中很多特征并不是数值类型，而是类别类型，比如红色/蓝色/白色之类，虽然决策树天然擅长处理类别类型的特征，但是还是需要我们把原始的字符串值转为类别编号。

发现train和test中的feature并不一致，train中的QuoteConversion_Flag属性在test中没有(这里的QuoteConversion_Flag是表示这一单生意最后是否做成，test_set里当然不应该有这一属性，不然让你预测个啥)，

trainset 和 testset 的属性展示

而其他的属性都是一样的:

差别只限于 QuoteConverion_Flag

对非数值类型的特征做 LabelEncode:

LabelEncode

做完之后字符串转为类别编号：

attributes after LabelEncoding

使用 CV (cross validation) 做 xgb 分类器模型的调参

使用 CV 来调超参，当然参数空间是自己选的:

cv 调参，StratifiedKFold 会保留每个 fold 中正负样本的比例与样本全集中的该比例一致

导出最后的结果:

输出 best model

当然你也可以看看各参数下的模型的表现是怎样的:

各超参下的模型结果对比

到这里，基本上就完成了该次虽然简略，但也大体完整的数据分析实战了。