决策树（CART）算法总结

1.决策树原理

决策树算法重点就在于“决策”和“树”这两个概念，顾名思义决策树是基于树结构来进行决策的，这也恰恰是人们在遇到问题时进行问题梳理的一种很自然的处理机制。

决策树的目标是建立分类和回归模型，核心目标是决策树的生长和决策树的修剪。

对于决策树的生长算法有：ID3，C5.0，CART，CHAID，QUEST等；
对于决策树的修剪方法有：预剪枝，后剪枝。

2.决策树优缺点

优点：

1. 不需要预处理，不需要提前归一化，处理缺失值；
2. 既可以处理离散值也可以处理连续值。很多算法只是专注于离散值或者连续值；
3. 简单直观，生成的决策树很直观；
4. 使用决策树预测的代价是O(log2m)O(log2m)。 m为样本数；
5. 可以处理多维度输出的分类问题；
6. 相比于神经网络之类的黑盒分类模型，决策树在逻辑上可以得到很好的解释；
7. 可以交叉验证的剪枝来选择模型，从而提高泛化能力；
8. 对于异常点的容错能力好，健壮性高。
   缺点：
9. 决策树算法非常容易过拟合，导致泛化能力不强。可以通过设置节点最少样本数量和限制决策树深度来改进；
10. 决策树会因为样本发生一点点的改动，就会导致树结构的剧烈改变。这个可以通过集成学习之类的方法解决；
11. 寻找最优的决策树是一个NP难的问题，我们一般是通过启发式方法，容易陷入局部最优。可以通过集成学习之类的方法来改善；
12. 有些比较复杂的关系，决策树很难学习，比如异或。这个就没有办法了，一般这种关系可以换神经网络分类方法来解决；
13. 如果某些特征的样本比例过大，生成决策树容易偏向于这些特征。这个可以通过调节样本权重来改善。

3.CART算法

纵使决策树的生成算法有很多，但是scikit-learn决策树算法类库内部实现是使用了调优过的CART树算法，既可以做分类，又可以做回归。分类回归树(Classification And Regression Tree, CART)是由美国斯坦福大学和加州大学伯克利分校的布雷曼(Breiman) 等人于1984年提出的，同年他们出版了相关专著Classification and Regression Trees。

CART算法也有树的生成和剪枝两部分，对于树的生成采用的标准主要是：基尼系数（分类），方差（回归）；对于树的剪枝采用的标准主要是是：MCCP算法（最小代价复杂性修剪法）。对于这两部分的理论介绍这里不再给出，随便找一本介绍CART树算法的书都有相应的介绍，例如：链接1，链接2……

4.CART算法实现

scikit-learn决策树算法类库中，分类决策树的类对应的是DecisionTreeClassifier，而回归决策树的类对应的是DecisionTreeRegressor。

对于这两者来说，参数定义几乎完全相同，但是意义不全相同。下面就对DecisionTreeClassifier和DecisionTreeRegressor的重要参数做一个总结，重点比较两者参数使用的不同点和调参的注意点。

DecisionTreeClassifier

DecisionTreeClassifier(criterion=’gini’, splitter=’best’, max_depth=None, 
min_samples_split=2, min_samples_leaf=1, min_weight_fraction_leaf=0.0, 
max_features=None, random_state=None, max_leaf_nodes=None, 
min_impurity_decrease=0.0, min_impurity_split=None, class_weight=None, 
presort=False)

DecisionTreeRegressor

DecisionTreeRegressor(criterion=’mse’, splitter=’best’, max_depth=None,
 min_samples_split=2, min_samples_leaf=1, min_weight_fraction_leaf=0.0,
 max_features=None, random_state=None, max_leaf_nodes=None, 
 min_impurity_decrease=0.0, min_impurity_split=None, presort=False)

5. 应用实例–泰坦尼克号数据集

5.1 数据集获取

链接：https://pan.baidu.com/s/13Qd_qoR22B4VRvUIGm296w 提取码：x4ic

5.2 数据描述

特征	描述
Survived	0代表死亡，1代表存活
Pclass	乘客所持票类，有三种值(1,2,3)
Name	乘客姓名
Sex	乘客性别
Age	乘客年龄(有缺失)
SibSp	乘客兄弟姐妹/配偶的个数(整数值)
Parch	乘客父母/孩子的个数(整数值)
Ticket	票号(字符串)
Fare	乘客所持票的价格(浮点数，0-500不等)
Cabin	乘客所在船舱(有缺失)
Embark	乘客登船港口S、C、Q(有缺失)

5.3 代码实例

1.导入所需要的库

import pandas as pd
import numpy as np
from sklearn.tree import DecisionTreeClassifier
from sklearn.model_selection import train_test_split
from sklearn.model_selection import GridSearchCV
from sklearn.model_selection import cross_val_score
import matplotlib.pyplot as plt

2.导入数据集，探索数据

data = pd.read_csv("E:/data/titianic.csv",index_col = 0)

data.head()

data.info()

3.对数据集进行预处理

#删除缺失值过多的列，和观察判断来说和预测的y没有关系的列
data.drop(["Cabin","Name","Ticket"],inplace=True,axis=1)

#处理缺失值，对缺失值较多的列进行填补，有一些特征只确实一两个值，可以采取直接删除记录的方法
data["Age"] = data["Age"].fillna(data["Age"].mean())
data = data.dropna()

#将分类变量转换为数值型变量

#将二分类变量转换为数值型变量
#astype能够将一个pandas对象转换为某种类型，和apply(int(x))不同，astype可以将文本类转换为数字，用这个方式可以很便捷地将二分类特征转换为0~1
data["Sex"] = (data["Sex"]== "male").astype("int")

#将三分类变量转换为数值型变量
labels = data["Embarked"].unique().tolist()
data["Embarked"] = data["Embarked"].apply(lambda x: labels.index(x))

#查看处理后的数据集
data.head()

4.提取X和Y，划分数据集

X = data.iloc[:,data.columns != "Survived"]
y = data.iloc[:,data.columns == "Survived"]

from sklearn.model_selection import train_test_split
Xtrain, Xtest, Ytrain, Ytest = train_test_split(X,y,test_size=0.3)

#修正测试集和训练集的索引
for i in [Xtrain, Xtest, Ytrain, Ytest]:
    i.index = range(i.shape[0])
    
#查看分好的训练集和测试集
Xtrain.head()

5.首次尝试，粗略查看结果

clf = DecisionTreeClassifier(random_state=42)
clf = clf.fit(Xtrain, Ytrain)
score_ = clf.score(Xtest, Ytest)

print(score_)

#尝试一下10折交叉验证的平均分和方差
score = cross_val_score(clf,X,y,cv=10)
print(score)
print(score.mean())
print(score.std())

6.在不同max_depth下观察模型的拟合效果

#当然这里你也可以尝试其他参数，不一定试验max_depth
tr = []
te = []
for i in range(10):
    clf = DecisionTreeClassifier(random_state=42
                                 ,max_depth=i+1
                                 ,criterion="entropy"
                                )
    clf = clf.fit(Xtrain, Ytrain)
    score_tr = clf.score(Xtrain,Ytrain)
    score_te = clf.score(Xtest, Ytest)
    tr.append(score_tr)
    te.append(score_te)
print("train:{}".format(max(tr)))   
print("test:{}".format(max(te)))
plt.plot(range(1,11),tr,color="red",label="train")
plt.plot(range(1,11),te,color="blue",label="test")
plt.xticks(range(1,11))
plt.legend()
plt.show()

7.用网格搜索调整参数

parameters = {'splitter':('best','random')
              ,'criterion':("gini","entropy")
              ,"max_depth":np.arange(1,10)
              ,'min_samples_leaf':np.arange(1,50,5)
              ,'min_impurity_decrease':np.linspace(0,0.5,20)
             }

clf = DecisionTreeClassifier(random_state=42)
GS = GridSearchCV(clf, parameters, cv=10)
GS.fit(Xtrain,Ytrain)

GS.best_params_

GS.best_score_