决策树与随机森林（一）

转自小象学院

我的学习笔记

1. 复习信息熵：熵，联合熵、条件熵、互信息

2. 决策树学习算法：信息增益 | ID3 | C4.5 |CART

3. Bagging与随机森林

决策树的总结

1.  决策树是一种树型结构，其中每个内部节点表示在一个属性上的测试，每个分支代表一个测试输出，每个叶节点代表一种类别。

2. 决策树学习是以实例为基础的归纳学习

3. 决策树学习采用的是自顶向下的递归方法，其基本思想是以信息熵为度量构造一颗熵值下降最快的树，到叶子节点处熵值为零，此处每个叶节点中的实例都属于同一类。

决策树学习算法的最大优点是，它可以自学习。在学习的过程中，不需要使用者了解过多的背景知识，只需要对训练实例进行较好的标注，就能够进行学习。

属于有监督学习

从一类无序、无规则的概念中推理出决策树表示的分类规则。

关于信息增益

概念：当熵和条件熵额概率由数据估计（特别是极大似然估计）得到时，相应的熵称为经验熵和经验条件熵

信息增益表示得知特征A的信息而使得类X的信息的不确定性减少的程度

信息增益的计算方法

三种决策树算法比较：

1. ID3: 使用信息增益/互信息g(D,A)进行特征选择

取值多的属性，更容易使数据更纯，其信息增益更大

训练得到的是一颗庞大且深度浅的树：不合理

2. C4.5：信息增益率 gr(D,A) = g(D,A) / H(A)

3. CART: 基尼指数

一个属性的信息增益（率）/gini指数越大，表明属性对样本熵减少的能力越强，这个属性使得数据由不确定性变成确定性的能力越强。

决策树的评价

假定样本总类别为K个

对于某叶节点，假定样本数目为n，其中第k类为nk

    若nj = n，而n1...ni=0，则称纯结点

    若n1=n2...=nk = n/K 则称该样本为均结点

纯结点的熵Hp=0，最小，均结点的熵Hu=lnK，最大

对所有的叶节点的熵求和，该值越小说明对样本的分类越精确，各个叶节点包含的样本数目不同，可使用样本数加权求熵和

评价函数，又称损失函数

决策树的过拟合

决策树对训练已知有很好的分类能力，但是对未知的测试数据却不一定，泛化能力弱，即可能发生过拟合现象。

解决方案：剪枝 | 随机森林

剪枝：

剪枝系数（跟学习率不同，不要误会）