sklearn 之决策树与回归树

造树部分

代码

from sklearn import tree       #导入需要的模块 
clf = tree.DecisionTreeClassifier()     #实例化
clf = clf.fit(X_train,y_train)    #用训练集数据训练模型
result = clf.score(X_test,y_test) #导入测试集，从接口中调用需要的信息
#### 决策树参数

基本参数

random_state用来设置分枝中的随机模式的参数，默认None，在高维度时随机性会表现更明显，低维度的数据（比如鸢尾花数据集），随机性几乎不会显现。输入任意整数，会一直长出同一棵树，让模型稳定下来。

splitter也是用来控制决策树中的随机选项的，有两种输入值，输入”best"，决策树在分枝时虽然随机，但是还是会优先选择更重要的特征进行分枝（重要性可以通过属性feature_importances_查看），输入“random"，决策树在分枝时会更加随机，树会因为含有更多的不必要信息而更深更大，并因这些不必要信息而降低对训练集的拟合。这也是防止过拟合的一种方式。当你预测到你的模型会过拟合，用这两个参数来帮助你降低树建成之后过拟合的可能性。当然，树一旦建成，我们依然是使用剪枝参数来防止过拟合。

重要参数

Criterion ： entropy（信息熵） gini 基尼系数

random_state：随机种子，默认为none

splitter: ”best"，决策树在分枝时虽然随机，但是还是会优先选择更重要的特征进行分枝.

输入“random"，决策树在分枝时会更加随机，树会因为含有更多的不必要信息而更深更大，并因这些不必要信息而降低对训练集的拟合。这也是防止过拟合的一种方式。

max_depth：最大深度，建议从3开始

min_samples_leaf 一个节点在分枝后的每个子节点都必须包含至少min_samples_leaf个训练样本，否则分枝就不会发生（对于类别不多的分类问题，取1；一般问题取5）

min_samples_split 一个节点必须要包含至少min_samples_split个训练样本

重要属性

feature_importances_ 能够查看各个特征对模型的重要性。

重要接口

fit 拟合参数

score 查看模型的准确度

apply 中输入测试集返回每个测试样本所在的叶子节点的索引。

predict 输入测试集返回每个测试样本的标签。

画树部分

tree.export_graphviz 可视化函数

feature_names #特征名称
class_names=  #分类名
filled        #颜色填充
rounded       #边框为园

graph=graphviz.Source() 画树

例子：

import graphviz
dot_data = tree.export_graphviz(clf
                                
                                ,feature_names = feature_name
                                ,class_names=["琴酒","雪莉","贝尔摩德"]
                                ,filled=True
                                ,rounded=True
                               ) 
graph = graphviz.Source(dot_data)

进阶部分

网格搜索

用于选取最好的参数。

交叉验证

可以防止模型受数据集选取的影响过大

注意事项

所有接口中要求输入X_train和X_test的部分，输入的特征矩阵必须至少是一个二维矩阵。sklearn不接受任何一维矩阵作为特征矩阵被输入。（可以使用reshape(1,-1) 进行升维）

数据的使用

建议使用官方的红酒数据库

from sklearn.datasets import load_wine 
wine=load_wine()
data=wine.data
target=wine.target