决策树

•     机器学习中分类和预测算法的评估： 
• • 准学率
  • 速度
  • 强壮型
  • 可规模性
  • 可解释性 

 1， 什么是决策树/判定树

       判定树是一个类似于流程图的树结构：其中，每个内部结点表示一个属性上的测试，每个分支代表一个属性输出，而每个树叶结点代表类获类分布。树的最顶层为根结点。

2， 机器学习中分类方法中的一个重要算法

3，构造决策树的基本算法

     3.1  熵的概念：

          信息和抽象，如何度量？

          1948年，香浓提出了‘信息熵’的概念，

          一条信息的信息量的大小和它的不确定性有直接的关系，要搞清楚意见非常不确定的事情，或者我们一无所知的事情，

       需要了解大量信息==>信息量的度量就等于不确定性的多少。

          例子，猜世界冠军，假如一无所知，猜多少次？

          每个队夺冠的几率不是相等的

          比特（bit）来衡量信息的多少

                                                            - ( p1 * log p1 + p2 * log p2 + . . . + p32 * log p32 )

          H(x) =- P(x) log2 |p(x)| 求和   变量的不确定性越大，熵也就越大

     3.2 决策树的归纳算法（ID3）

          1970 - 1980，J.Ross, Quinlan, ID3算法

          选择属性判断结点

          信息获取量（Information Gain）：Gain（A）= Info（D） - Info_A(D)

          通过A来作为结点分类获取了多少信息

   算法：

• 树以代表训练样本的单个结点开始（步骤1）。
• 如果样本都在同一个类，则该结点成为树叶，并用该类标号（步骤2和步骤3）
• 否则，算法使用称为信息增益的基于熵的度量作为启发信息，选择最好的能将样本分类的属性（步骤6）。该属性称为该结点的‘测试’或“判定”属性（步骤7）。在算法的该版本中。
• 所有的属性都是分类的，即离散值。连续属性必须离散化。
• 对测试属性的每个已知的值，创建一个分支，并据此划分样本（步骤8- 10）
• 算法使用同样的过程，递归的形成每个划分导航的样本判定树。一旦一个属性在该节点上出现，则就不必在它的任何后代考虑它。（步骤13）
• 递归划分步骤仅当下列条件之一成立停止：
• （a）给定结点的所有样本属于同一个类（步骤2和步骤3）。
• （b）没有剩余属性可以进一步划分样本（步骤4）。在此情况下，使用多数表决（步骤5）
• 这涉及将给定的结点转换成树叶，并用样本的多数所在的类别来标记它，替换的，可以存放样本结点的类分布。
• （c）分支
• test_sample = ai 没有样本（步骤11）。在这种情况下，以samples中的多数类来创建一个树叶

  3.3 其他算法：

     C4.5: Quinlan

     Classification and Regression Trees (CART): (L.Breiman, J.Friedman,   R,Olshen, C,Stone)

        共同点：都是贪心算法，自上而下（Top-down approach）

       区别：属性选择度量方法不同：C4.5（gain ratio）， CART（gain index），    ID3 （Information Gain）

  3.4如何处理连续性变量的属性？

     将属性离散化

4，树剪枝叶（避免overfitting）

     4.1 先剪枝

     4.2 后剪枝

5，决策树的优点：

     直观，便于理解，小规模数据集有效

6，决策树的缺点：

     处理连续变量不好

     类别较多时，错误增加的比较快

        可规模性一般