数据仓库与数据挖掘-决策树-ID3算法 个人笔记

声明：文中内容基于山东某高校数据挖掘课程的课件，本系列文章为课程内容的个人总结以及笔记内容。

信息熵
信息熵标识离散随机事件出现的概率，一个系统越是有序，信息熵就越低。反之，一个系统越混乱，它的信息熵就越高。

信息熵是系统有序化程度的一个度量。

信息增益
信息增益标识得知特征X的信息后，而使得Y的不确定性减少的程度。


举个例子：


构造一个决策树：
1、训练样本的信息值
2、第一棵树，计算样本的信息值
3、第一棵树，划分各属性导致的信息增益
4、选择或的最大信息增益的属性进行划分
5、以此类推，递归继续划分
6、当所有叶节点都是纯的，划分过程终止

训练样本的信息熵
例子：训练样本（用来创建树的数据集）在包含9个yes和5个no的根节点上，对应的信息熵：

对于第一棵树划分属性：

	yes	no	合计
sunny	2	3	5
overcast	4	0	4
sunny	2	3	5
rain	3	2	5
合计	9	5

基于天气（outlook）划分，在叶节点的yes和no类的个数分别是[2，3]，[4，0]，和[3，2]这些节点的信息值分别为


计算信息增益