DecisionTree决策树参数详解

1.max_depth:
指定遍历搜索的最大深度。
int or None, optional (default=None) 一般来说，数据少或者特征少的时候可以不管这个值。
如果模型样本量多，特征也多的情况下，推荐限制这个最大深度，具体的取值取决于数据的分布。
常用的可以取值10-100之间。常用来解决过拟合

2.min_sample_leaf:
叶子节点最少样本数。
这个值限制叶子节点最少的样本数，若叶子节点数小于样本数，则会和兄弟节点一起被剪枝，
样本量不大时，可不管这个值

3.max_leaf_nodes：
最大叶子节点数。
int or None, optional (default=None) 通过限制最大叶子节点数，可以防止过拟合，默认是
”None”，即不限制最大的叶子节点数。
如果加了限制，算法会建立在最大叶子节点数内最优的决策树。如果特征不多，可以不考虑
这个值，但是如果特征分成多的话，可以加以限制，具体的值可以通过交叉验证得到

4.min_sample_split:
内部节点再划分所需最小样本数。
int, float, optional (default=2) 如果是 int，则取传入值本身作为最小样本数； 
如果是 float，则去 ceil(min_samples_split * 样本数量) 的值作为最小样本数，即向上取整

5.min_impurity_decrease:
节点划分最小不纯度。
float, optional (default=0) 这个值限制了决策树的增长，
如果某节点的不纯度(基尼系数，信息增益，均方差，绝对差)小于这个阈值，则该节点
不再生成子节点。 sklearn 0.19.1版本之前叫min_impurity_split

6.min_impurity_split：
信息增益的阀值。
决策树在创建分支时，信息增益必须大于这个阀值，否则不分裂

7.min_weight_fraction_leaf：
叶子节点最小的样本权重和。
float, optional (default=0.) 这个值限制了叶子节点所有样本权重和的最小值，
如果小于这个值，则会和兄弟节点一起被剪枝。 默认是0，就是不考虑权重问题。
一般来说，如果我们有较多样本有缺失值，或者分类树样本的分布类别偏差很大，
就会引入样本权重，这时我们就要注意这个值
了。

8.random_state:
无论决策树模型如何进化,在分枝上的本质都是追求某个不纯度指标的优化，不纯度
是基于节点来计算的。也就是说,决策树在建树时,是靠优化节点来追求一棵优化的树,
但最优的节点能够保证最优的树吗？不一定。
那应该怎么解决这个问题呢？
sklearn解决这个问题的方法: 既然可以树不能保证最优,那就建更多的不同的树,然后从中
取最好的。
怎样从一组数据集中建不同的树呢：scikit-learn在每次分枝时, 不使用全部特征, 而是随机
选取一部分特征，从中选取不纯度相关指标最优的作为分枝用的节点. 这样,每次生成的树
也就不同了。这里对于特征的随机选取，就是random_state的意思。其实就可以理解为
随机数种子，这个种子类似于一个控制器，控制每次的随机。因为要随机采样，设置了
这个参数以后，每次随机的结果是一样的，这样很有用，控制住了不必要的变量。

9.splitter:
特征划分标准。
‘best’ or ‘random’ (default=”best”) 前者在特征的所有划分点中找出最优的划分点。
后者是随机的在部分划分点中找局部最优的划分点。默认的”best”适合样本量不大的时候，
而如果样本数据量非常大，此时决策树构建推荐”random” 

10.Criterion：
特征选择标准。
‘gini’ or ‘entropy’ (default=”gini”)，前者是基尼系数，后者是信息熵。
两种算法差异不大对准确率无影响，信息墒运行效率低一点，因为它有对数运算。
一般说使用默认的基尼系数”gini”就可以了，即CART算法。
除非你更喜欢类似ID3, C4.5的最优特征选择方法