学习（三）决策树/集成学习

一、决策树

1、决策树就是一个类似流程图的树型结构，其中树的每个内部结点代表对一个属性（取值）的测试，其分支就代表测试的每个结果；而树的每个叶结点就代表一个类别。树的最高层结点就是根结点。

2、方法缺点：1)对连续性的字段比较难预测。2)对有时间顺序的数据，需要很多预处理的工作。3)当类别太多时，错误可能就会增加的比较快。4)一般的算法分类的时候，只是根据一个字段来分类。

3、

4、基尼值越小，纯度越大。基尼指数越小，纯度越大。

CART用此作为特征选择

极小化决策树整体的损失函数（ID3,C4.5,CART）

信息增益：ID3，增益率：C4.5，基尼指数：CRAT。

5、剪枝是决策树停止分支的方法之一，剪枝有分预先剪枝和后剪枝两种。预先剪枝是在树的生长过程中设定一个指标，当达到该指标时就停止生长，这样做容易产生“视界局限”，就是一旦停止分支，使得节点N成为叶节点，就断绝了其后继节点进行“好”的分支操作的任何可能性。不严格的说这些已停止的分支会误导学习算法，导致产生的树不纯度降差最大的地方过分靠近根节点。后剪枝中树首先要充分生长，直到叶节点都有最小的不纯度值为止，因而可以克服“视界局限”。然后对所有相邻的成对叶节点考虑是否消去它们，如果消去能引起令人满意的不纯度增长，那么执行消去，并令它们的公共父节点成为新的叶节点。这种“合并”叶节点的做法和节点分支的过程恰好相反，经过剪枝后叶节点常常会分布在很宽的层次上，树也变得非平衡。后剪枝技术的优点是克服了“视界局限”效应，而且无需保留部分样本用于交叉验证，所以可以充分利用全部训练集的信息。但后剪枝的计算量代价比预剪枝方法大得多，特别是在大样本集中，不过对于小样本的情况，后剪枝方法还是优于预剪枝方法的。

二、集成学习

1、Boosting:串型训练。经典算法：Adoboost,    GBDG

2、Bagging：数据随机重抽样/并型训练。经典算法：Random Forest