李航统计学习 决策树 学习笔记

决策树(decision tree)是一种基本的分类与回归方法。
决策树模型呈树形结构。在分类问题中,表示基于特征对实例进行分类的过程,它可以人为是if-else规则的集合,也可以认为是定义在特征空间与类空间上的条件概率分布。

if-else规则过程:
由决策树的根节点到叶节点的每一条路径对应一条规则;路径上内部结点的特征对应着规则的条件,而叶节点的类对应着规则的结论。

决策树本质是一组分类规则。

如何选择特征?
直观上,如果一个特征由更好的分类能力,就应该选择这个特征。信息增熵(information gain)能够很好地表示这一直观的准则。

随机变量的熵的定义:
[Math Processing Error] H ( X ) = − ∑ i = 1 n p i log ⁡ p i

条件熵[Math Processing Error] H ( Y | X ) 表示在已知随机变量X的条件下随机变量Y的不确定性。定义为X给定条件下的Y的条件概率分布的熵对X的数学期望:
[Math Processing Error] H ( Y | X ) = ∑ i = 1 n p i H ( Y | X = x i )

一般地,熵H(Y)与条件熵H(Y|X)之差,成为互信息(mutual information)
信息增益(information gain)表示得知特征X的信息而使得类Y的信息不确定性减少的程度。
特征A对训练数据集D的信息增益 g(D,A),定义为集合D的经验熵H(D)与特征A给定条件下D的经验条件熵H(D|A)之差,即 g(D,A)=H(D)-H(D|A)

经验增益比。使用相对的概念来进行校正,这是特征选择的另一准则。
特征A对训练数据集D的信息增益比 [Math Processing Error] g R ( D , A ) = g ( D , A ) H ( D )

你可能感兴趣的:(book,reading)