实用 Kaggle 随机森林 - 如何处理 nan & 数据太少怎么办

1. nan 的处理

先讲一个真事：

在 Kaggle 的一个竞赛里面，是要求预测哪些大学的基金项目会得到批复而那些不会。随后一个参赛者通过其中某一列的 nan 与否特征的预测，得到了金奖。事后证明，这个学校在填入资料的时候，如果这项基金不会被批复，那么他们就不会继续填入更多信息。因此 nan 的填写与否反而由于 data leakage 的原因成为了这个竞赛里面最重要的特征。

但是呢，nan 又没有办法直接喂给机器学习模型。因此我们可以针对所有的数据列，做如下操作：

1. 选取所有的 数字列；

2. 如果该列的 nan 数目大于 1，则填充 fillna 为该列均值，或者任意制定数值；

3. 在整个 dataframe 后加入一列，记录该列的 nan 的 True/False 情况；

def fill_na(df, na_data={}):

    cols = df.select_dtypes(include='number')

    for col in cols: if df[col].isnull().sum() > 0:

        df[col+'_na'] = df[col].isnull()

        fillna = na_data[col] if col in na_data else df[col].median()

        df[col].fillna(fillna, inplace=True)   

%time fill_na(df_cat)

2. sklearn 中 boostrapping 的优化 —— 处理模型中数据太少的问题

其实之前已经介绍到过 boostrapping，但是没有详细介绍。

左边的橙色是数据库，我们在选取子集进行模型学习的时候，每次都可以选择一个子集并重复采样，这样可以增加用于训练的数据，这个就是 boostrapping。尽管看上去这样的方式并不会增加数据的多样性，但是神奇的是，反复的学习的确可以提高模型精度，但是也会增加过拟合的风险。

在 sklearn 里面，这个参数暂时是无法更改的，但是我们可以用过修改内置函数的方式来 hacking，增加训练数据的个数。

from sklearn.ensemble import forest

def set_rf_samples(n):

""" Changes Scikit learn's random forests to give each tree a random sample of n random rows. """

forest._generate_sample_indices = (lambda rs, n_samples: forest.check_random_state(rs).randint(0, n_samples, n))

set_rf_samples(5000)

通过上述修改，我们可以将训练集的 boostraing 个数进行任意设置。

一起来动手试试吧！