python机器学习初探
决策树
本文目的主要在于记录决策树学习内容，同时也向大家分享有关决策树知识，若有逻辑不自洽的地方还望指正。
1、概述
决策树就是将通过一系列特征判断找到目标标签的模型。
1.1决策树的核心
1、如何从数据表中找出最佳节点和最佳分枝？
2、如何让决策树停止生长，防止过拟合？
1.2决策树的分类
sklearn中的tree模块有以下5个类
| 类 | 功能 |
|---|---|
| tree.DecisionTreeClassifier | 分类树 |
| tree.DecisionTreeRegressor | 回归树 |
| tree.export_graphviz | 将生成的决策树导出为DOT形式，画图专用 |
| tree.ExtraTreeClassifier | 高随机版本的分类树 |
| tree.ExtraTreeRegressor | 高随机版本的回归树 |
本文主讲分类树
1.3决策树建模基本流程
2.建立决策树
2.1引入相关库和模块
from sklearn import tree
from sklearn.datasets import load_wine # 调取sklearn自带的数据集
from sklearn.model_selection import train_test_split # 调取生成训练集和测试集的函数
2.2数据基本处理
wine = load_wine() # 引入红酒数据集
import pandas as pd
wine = pd.concat([pd.DataFrame(wine.data),pd.DataFrame(wine.target)],axis=1)
得到以下表格
2.2生成训练集和测试集
Xtrain, Xtest, Ytrain, Ytest = train_test_split(wine.data, wine.target, test_size=0.3)
Xtrain.shape # Xtrain的目标值数和特征数
2.3生成一个树
参数criterion用于决定不纯度的计算方法:
| 参数 | 方法 |
|---|---|
| entropy | 信息熵 |
| gini | 基尼系数 |
clf = tree.DecisionTreeClassifier(criterion='entropy') # 实例化
clf = clf.fit(Xtrain, Ytrain) # 用训练集训练模型
score = clf.score(Xtest, Ytest) # 导入测试集，从接口中调用需要的信息
一般高维度，高噪声用基尼系数，低维度两者不纯度算值没太大变化，其余情况可以在信息熵和基尼系数之间互相试，哪个不纯度更低就用哪个。
2.4画一个树
feature_name = ['酒精', '苹果酸', '灰', '灰的碱性', '镁', '总酚', '类黄酮', '非黄烷类酚类', '花青素', '颜色强度', '色调', 'od280/od315稀释葡萄酒', '脯氨酸']
dot_data = tree.export_graphviz(clf
, feature_names=feature_name
, class_names=['琴酒', '雪莉', '贝尔摩德']
, filled=True
, rounded=True
, out_file=None)
graph = graphviz.Source(dot_data, encoding='utf-8')
graph.view()
很遗憾这里的中文乱码不能显示
2.5探索决策树
#特征重要性
clf.feature_importances_
[*zip(feature_name,clf.feature_importances_)]
特征重要性
将特征与特征重要性打包，存在为0不能用到的特征
3重要参数
3.1 random_state&splitter
random_state用来设置分枝中的随机模式的参数，默认None，在高维度时随机性会表现更明显，低维度的数据（比如鸢尾花数据集），随机性几乎不会显现。输入任意整数，会一直长出同一棵树，让模型稳定下来。
splitter也是用来控制决策树中的随机选项的，有两种输入值，输入”best"，决策树在分枝时虽然随机，但是还是会优先选择更重要的特征进行分枝（重要性可以通过属性feature_importances_查看），输入“random"，决策树在
分枝时会更加随机，树会因为含有更多的不必要信息而更深更大，并因这些不必要信息而降低对训练集的拟合。这也是防止过拟合的一种方式。当你预测到你的模型会过拟合，用这两个参数来帮助你降低树建成之后过拟合的可能性。当然，树一旦建成，我们依然是使用剪枝参数来防止过拟合。
clf = tree.DecisionTreeClassifier(criterion="entropy"
,random_state=30
,splitter="random"
)
clf = clf.fit(Xtrain, Ytrain)
score = clf.score(Xtest, Ytest)
3.2 剪枝参数
在不加限制的情况下，一棵决策树会生长到衡量不纯度的指标最优，或者没有更多的特征可用为止。这样的决策树往往会过拟合，这就是说，它会在训练集上表现很好，在测试集上却表现糟糕。我们收集的样本数据不可能和整体的状况完全一致，因此当一棵决策树对训练数据有了过于优秀的解释性，它找出的规则必然包含了训练样本中的噪声，并使它对未知数据的拟合程度不足。为了让决策树有更好的泛化性，我们要对决策树进行剪枝。剪枝策略对决策树的影响巨大，正确的剪枝策略是优化决策树算法的核心。sklearn为我们提供了不同的剪枝策略：
3.2.1 max_depth
max_depth用于规定树的深度，但这里的深度非彼深度，它比一般深度多了1，一般从3开始取值
3.2.2 min_samples_leaf&min_samples_split
min_samples_leaf是限制分枝后节点样本最小量，未达到该最小量那么也不会出现分支
min_samples_split是限制分枝所要求的样本量，也就是说未达到该样本量的节点不能分枝
两者一般从5开始取值
clf = tree.DecisionTreeClassifier(criterion='entropy'
, random_state=30
, splitter='random'
, max_depth=3
, min_samples_leaf=10
, min_samples_split=10
)
clf = clf.fit(Xtrain, Ytrain)
score = clf.score(Xtest, Ytest)
3.2.3 max_features & min_impurity_decrease
一般max_depth使用，用作树的”精修“max_features限制分枝时考虑的特征个数，超过限制个数的特征都会被舍弃。和max_depth异曲同工,max_features是用来限制高维度数据的过拟合的剪枝参数，但其方法比较暴力，是直接限制可以使用的特征数量而强行使决策树停下的参数，在不知道决策树中的各个特征的重要性的情况下，强行设定这个参数可能会导致模型学习不足。如果希望通过降维的方式防止过拟合，建议使用PCA，ICA或者特征选择模块中的降维算法。
min_impurity_decrease限制信息增益的大小，信息增益小于设定数值的分枝不会发生。这是在0.19版本种更新的功能，在0.19版本之前时使用min_impurity_split。
3.3如何确定最优单一参数值
将超参量的值作为横坐标，决策树的度量指标作为纵坐标score。
列举max_depth
test = []
for i in range(10):
clf = tree.DecisionTreeClassifier(max_depth=i + 1
, criterion='entropy'
, random_state=30
)
clf = clf.fit(Xtrain, Ytrain)
score = clf.score(Xtest, Ytest)
test.append(score)
plt.plot(range(1, 11), test, color='red', label='max_depth')
plt.legend()
plt.show()
从图中我们可以得知，max_depth最优取值从3开始
3.4两个接口
apply&predict
# apply返回每个测试样本所在的叶子节点的索引
print(clf.apply(Xtest))
# predict返回每个测试样本的分类/回归结果
print(clf.predict(Xtest)) # 返回标签
4总结
至此八个参数：Criterion
，两个随机性相关的参数（random_state，splitter）
，四个剪枝参数（max_depth
, min_samples_split
, min_samples_leaf
, max_feature
, min_impurity_decrease）
一个属性：feature_importances_
四个接口：fit，score，apply，predict