决策树系列

决策树：

• 特征选择准则

1. 信息增益（ID3）
2. 信息增益比（C4.5）
3. GINI指数（用于CART中分类树生成）

• 剪枝

---

1. 信息增益（ID3）：
   
   其中为所计算的增益值，其中参数为整个训练样本集合，为样本的某一特征。
   
   其中表示样本集合被分成类之后每一类的样本集合，则表示该集合的样本个数。同理。