机器学习笔记（XI）决策树(I)基本流程和划分选择
基本流程
决策树
一般的，一棵决策树包括包含一个根结点，若干个内部结点和若干个叶结点。
根结点
包括样本全集
从根结点到每个叶子结点的路径对应一个判定测试序列。
内部结点
一个测试属性
叶结点
决策结果
目的
产生一棵泛化能力强的，处理未预见示例能力强的决策树，基本流程遵循简单且直观“分而治之”( divide-and-conquer )
基本算法
算法中的三种递归返回（三个return）
1：当前结点包含的样本全属于同一类别，无需再划分
2：当前属性集为空，或是所有样本在所有属性取值相同，无法划分。（此时：把当前结点标记为叶子节点，将其类别设定为该结点所含样本最多的类别，利用当前结点后验分布）
3：当前结点包含样本集合为空，不能划分（此时：同样把当前结点标记为叶子结点，但是其类别是父结点所含样本最多的类别，把父结点的样本分布作为当前结点的先验分布）
划分选择
信息增益
信息熵( information entropy )
作用：度量样本集合纯度的最常用的一种指标
假定当前样本集合 D 中第 k 类样本所占的比例为 pk(k=1,2,…,|Y|) ，则 D 的信息熵定义为
Ent(D)=−∑k=1|Y|pklog2pk(entropy)
Ent(D)⇓ , 纯度( purity ) ⇑
信息增益
假定离散属性 a 有 V 个可能的取值 {a1,a2,…,aV} ,如果使用 a 来对样本集 D 进行划分，则会产生 V 个分支结点，其中第 v 个分支结点包含了 D 中所有在属性 a 上取值为 av 的样本，记为 Dv 。
计算 Dv 的信息熵，考虑到不同结点的样本数不同，给分支结点赋予权重 |Dv||D| 即样本数越多的分支结点的影响越大。
定义信息增益：
Gain(D,a)=Ent(D)−∑k=1|Y||Dv||D|Ent(Dv)
作用
一般而言，信息增益越大，则意味着使用属性 a 来划分所得到的”纯度提升”越大。
不同的算法，不同的 a∗
ID3
a∗=argmaxa∈AGain(D,a)
C4.5
增益率
Gain_ratio(D,a)=Gain(D,a)IV(a)
其中
IV(a)=−∑v=1V|Dv||D|log2|Dv||D|
决策方法
从候选划分属性中找出信息增益高于平均水平的属性，再从中选择增益率最高的。
CART
基尼指数
基尼值 Gini(D)
Gini(D)=∑k=1|Y|∑k′≠kpkpk′=1−∑k=1|Y|p2k
Gini(D) 反映了从数据集 D 中随机抽取两个样本，其类别标记不一致的概率,因此 Gini(D) 越小，数据集 D 的纯度越高
基尼指数
Gini_index(D,a)=∑v=1V|Dv||D|Gini(Dv)
决策方法
a∗=argmina∈AGini_index(D,a)