机器学习算法——决策树1（ID3决策树算法）

1. 决策树（Decision Tree）是一种常用的分类方法，是一种监督学习。

一般的，一棵决策树包含一个根节点、若干个内部节点和若干个叶节点；叶节点对应于决策结果，其他每个节点则对应于一个属性测试。每个节点包含的样本集合根据属性测试的结果被划分到子节点中；根节点包含样本全集。

从根节点到每个叶节点的路径对应了一个判定测试序列。

2. ID3决策树算法

信息熵是度量样本集合纯度最常用的一种指标。

利用信息熵原理选择信息增益最大的属性作为分类属性，递归地拓展决策树的分支，完成决策树的构造。

假设当前样本集合D中第k类样本所占的比例为pk(k=1,2,...,|y|)，则D的信息熵定义为

Ent(D)的值越小，则D的纯度越高。

离散属性a有V个可能的取值{}；样本集合中，属性a上取值为的样本集合，记为.

用属性a对样本集D进行划分所获得的“信息增益”（information gain）为

一般而言，信息增益越大，则意味着使用属性a来进行划分所获得的“纯度提升”越大。

下一章讲解C4.5决策树算法。