十一，专著研读（CART算法）

十一，专著研读（CART算法）

• CART称为分类回归树，既能用于分类也能用于回归。使用二元切分方法处理连续型变量，给定特定值，如果特征值大于给定值就走左子树，否则走右子树。
• CART算法步骤
  • 决策树生成：递归构建二叉决策树过程，生成的决策树要尽可能大，自上而下从根开始建立节点，在节点处选择最好的属性来分裂，使子节点中的训练集尽量的“钝”。
  • 决策树剪枝：用验证数据集对已生成的树进行剪枝并选择最优子树，损失函数最小作为剪枝标准。
• Gini指数计算
  • CART算法中用Gini指数来衡量数据的不纯度或者不确定性，同时用Gini指数来决定类别变量的最优二分值得切分问题。
  • 分类问题中假设有k个类，样本点属于第k类的概率为Pk，概率分布的Gini指数；
    
    
    \(Gini(p)=\sum_{k=1}^{k}p_{k}(1-p_{k})=1-\sum_{k=1}^{k}p_{k}^{2}\)
    
    

  • 如果样本集合D根据某个特征A被分割为D1，D2两个部分，在特征A的条件下，集合D的Gini指数定义：
    
    
    \(Gini(D,A)=\frac{D_{1}}{D}Gini(D_{1})+\frac{D_{2}}{D}Gini(D_{2})\)
    
    Gini(D,A)表示特征A不同分组的数据集D的不确定性。Gini指数值越大，样本集合的不确定性也就越大。

  • C4.5采用信息增益率来作为分支特征的选择标准，CART采用Gini系数
    C4.5不一定是二叉树，但CART一定是二叉树