深入浅出Python机器学习6——决策树与随机森林

决策树

• 决策树的基本原理

       决策树是一种在分类与回归中都有非常广泛应用的算法，它的原理是通过对一系列问题进行 ifelse 的推导，最终实现决策。

• 决策树的构建

       使用酒的数据集演示一下。

       注意：此处为了方便演示，我们只取了数据集中样本的前两个特征。
       实际中，问题的数量越多，就代表决策树的深度越深，此处我们用的最大深度为 1，所以 max_depth = 1。
       进一步看看分类器的表现如何。

       显然，最大深度为 1 时只分了两类，效果不是很好。接下来将最大深度设置为 3，并绘图。

       此时，分类器能够进行3个分类的识别，而且大部分数据都进入了正确的分类。继续增加 max_depth 到 5。

       可以看出，分类器的表现进一步提升了。
       补充：为了演示决策树在每一层的工作内容，可以用 graphviz 库来进行演示。
       首先，我们得安装这个库

	pip install graphviz

       为了方便截图，所以设置 max_depth = 1 ，可以调整 max_depth 的大小来观看，效果会更好。

• 决策树的优势和不足

       相比于其它算法，决策树有一个非常大的优势，就是可以很容易地将模型进行可视化。由于决策树算法对每个样本特征进行单独处理，因此并不需要对数据进行转换。
       决策树也有不足之处，即便我们在建模的时候可以使用类似 max_depth 或者 max_leaf_nodes 等参数来对决策树进行预剪枝处理，但是它还是不可避免会出现过拟合的问题，也就让模型的泛化性能大打折扣了。
       为了避免过拟合的问题，可以使用集合学习的方法，也就是接下来的随机森林。

随机森林

       决策树往往容易出现过拟合，我们可以让很多树组成团队来工作，也形成了随机森林。

• 随机森林的概念

       随机森林有的时候也被称为是随机决策森林，是一种集合学习方法，既可以用于分类，也可以用于回归。而所谓的集合学习算法，其实就是把多个机器学习算法综合在一起，制造出一个更加大模型的意思。
       在机器学习领域，存在很多种集合算法，目前应用比较广泛的就包括随机森林（Random Forests）和梯度上升决策（Gradient Boosted Decision Trees， GBDT）。
       由于随机森林是把不同的几棵决策树打包到一起，每棵树的参数都不相同，然后我们把每棵树预测的结果取平均值，这样既可以保留决策树的工作成效，又可以降低过拟合的风险。感兴趣的读者可以尝试着用数学方法推导。

• 决策森林的构建

       继续用酒的数据集来构建。

       随机森林向我们返回了包含其自身全部参数的信息。如bootstrap参数，代表的是bootstrap sample，就是是 ‘ 有放回抽样 ’ 的意思。
       模型会基于新数据建立一颗决策树，在随机森林当中，算法不会让每棵决策树都生成最佳节点，而是会在每个节点上随机地选择一些样本特征，然后让其中之一有最好的拟合表现。如此例中，用max_features这个参数来控制所选择的特征数量最大值的，在不进行指定的情况下，随机森林默认自动选择最大特征数量。
       关于max_features 参数的设置，还是有些讲究的。如果把max_features 设置为样本的全部的特征数 n_features 就意味着模型会在全部特征中进行筛选，这样在特征选职责这一步，就没有随机性可言了。如果把max_features 设置为 1，就意味着模型在数据特征上完全没有选择的余地，只能去寻找这 1 个被随机选出来的特征向量的阈值了。所以说 max_features 的取值越高，随机森林里的每一棵决策树就会长的越相似，他们因为有更多的不同特征可以选择，也就会更容易拟合数据；反之，如果 max_features 取值越低，就会迫使每棵树的样子更加不同，而且因为特征太少，决策树们不得不制造更多节点来拟合数据。
       参数n_estimators是控制的随机森林中决策树的数量。在随机森林构建完成之后，每棵决策树都会单独进行预测。如果是用来进行回归分析的话，随机森林会把所有决策树预测的值取平均数；如果是用来进行分类的话，在森林内部会进行 “ 投票 ” 每棵决策树预测出数据类别的概率，比如其中一棵树判断这瓶酒80%属于class_1,另一棵树判断这瓶酒60%属于class_2,随机森林会把这些概率取平均值，然后把样本放入概率高的分类当中。

       发现随机森林分类要比之前的更加细腻，对训练数据集的拟合更好。可以尝试着改变n_estimator和random——state参数，看看效果如何。

• 随机森林的优势和不足

       优势上，随机森林继承了决策树的所有优点，而且可以弥补决策树的不足。但是也不是说决策树算法就被抛弃了。从便于展示决策过程的角度来说，决策树依旧表现强悍。尤其是随机森林中每棵树的层级要比单独的树更深，所以如果需要向非专业人士展示模型工作过程的话，还是需要用到决策树的。
       此外，随机森林算法支持并行处理。对于超大规模数据集来说，随机森林会比较耗时（树多），不过我们可以用多进程并行处理方式来解决这个问题。实现方式是调节随机森林的 n_jobs 参数，记得把 n_jobs 参数设置为和CPU内核数一致，比如你的CPU内核数时 2，那么 n_jobs 设置成 3 或者更大就没什么意义。如果不清楚内核数有多少，可以设置 n_jobs = -1，这样随机森林会使用CPU的全部内核，速度就会得到提升。
       需要注意的是，因为随机森林生成每棵树的方法是随机的，那么不同的 random_state 参数会导致模型完全不同，所以如果不希望建模的结果太过于不稳定，一定要固化 random_state 这个参数的数值。
       不过，随机森林虽然有诸多优点，尤其是并行处理功能在处理超大数据集时能提供良好的性能表现。但它也有不足，例如，对于高维数据集、稀疏数据集等来说，随机森林有点捉襟见肘，在这种情况下，线性模型要比随机森林的表现更好一些。还有，随机森林相对更消耗内存，速度也比线性模型更慢，所以如果程序希望更节省内存和时间的话，建议还是选择线性模型。

随机森林实例

• 数据集的准备

       先下载数据集

	http://archive.ics.uci.edu/ml/machine-learning-databases/adult/

       这个数据集中样本特征包括年龄、工作单位性质、统计权重、学历、受教育时长、婚姻状况、职业、家庭情况、种族、性别、资产所得、资产损失、每周工作时长、原籍、收入（大于 5 万或者小于等于 5 万）。查看数据集我们需要将 .data 格式文件转换为 .csv 格式。
       为了方便演示，只选取了年龄、单位性质、学历、性别、周工作时长、职业和收入等特征

• 用get-dummies处理数据

       首先我们需要用 pandas 中的 get_dummies 将字符特征改为整型特征，它可以在现有的数据集上添加虚拟变量，让数据集变成可以用的格式。

       可以看出，get_dummies 把字符串类型的特征拆分开，把单位性质分为 “ 单位性质_ Feaeral-gov ” “ 单位性质_ Local-gov ” 等，如果样本人群的工作单位是联邦政府，那么 “ 单位性质_ Feaeral-gov ” 这个特征的值就是 1，而其他的工作单位性质特征值就会是 0，这样就把字符串巧妙的转换成了 0 和 1 这两个整型数值。可以看看前 5 行数据发生的变化：

       新的数据集已经扩充到了 39 列，原因就是 get_dummies 把原数据集的特征拆分成了很多列。现在我们把格列分配给特征向量 X 和分类标签 y，如下：

       可以看到，让特征为“ 年龄 ” 这一列到 “ 职业_Transportation0-moving ” 这一列，而标签 y 为 “ 收入_>50K ”这一列，如果大于 50k，则 y=1，反之 y=0。

• 用决策树建模并做出预测

       可以看到这里共有 100 个样本，每条数据有 39 个特征。将数据集拆分并训练：

       结果表明，基于训练数据集训练的模型在测试集得到了 0.8 的评分，也就是说模型的准确率在 80%。
       我们得知 Mr_Z 的年龄是 37 岁，在省机关工作，学历是硕士，性别男，每周工作 40 小时，职业是文员，将 Mr_Z 的数据输入测试：

        结果显示，不满足要求。
        上述用到的 adult 数据集是从美国1994年人口普查数据库抽取而来的，而且其中收入指的是年收入，并非月收入。我们只用这个数据集来演示决策树的用法，其结论对我们的真是生活场景的参考意义不大。

       小编机器学习学的一般，只是日常做做比记加深一下印象，望读者不吝赐教，谢谢！