算法：分类-有监督-决策树（ID3）

决策树构建流程：

准备工作

选择特征

创建分支

是否终止

结果生成

准备工作	选择特征	创建分支	是否终止	结果生成
明确自变量和因变量 确定信息度量的方式 确定终止条件	得到当前待处理子集 计算所有特征信息度量 得到当前最佳分类特征	根据选中特征 将当前记录分成不同分支 分支个数取决于算法	判断是否满足终止条件 满足则退出循环 不满足则继续递归调用	判断是否需要剪枝 需要则进行适当修剪 不需要则为最终结果

例：根据现有的电脑购买记录，对购买者建模。该模型可以基于客户的一些信息预测他是否会购买电脑。

观察数据，明确自变量和因变量

自变量：年龄、收入层次、是否单身、信用等级
因变量：是否购买电脑

明确信息度量方式

常用的信息度量方式有熵和基尼系数，这里选择熵。

信息熵

信息熵：信息混乱程度的度量，信息论里的概念，由香农提出，描述混乱程度的度量，取值范围0、1，值越大，越混乱。
计算公式：$H(U)=E[-log{p}_i]=-{\sum }_{i=1}^n{p}_{i}log{p}_i$
例：有一堆苹果和梨共100个，随机拿出一个，拿出的是哪种？
1. 50个苹果+50个梨子
2. 0个苹果+100个梨子
3. 80个苹果+20个梨子
E1 = -50/100log(50/100,2)-50/100log(50/100,2)=1（混乱程度最高）
E2 = -100/100log(100/100,2)=0（混乱程度最低）
E3 = -20/100log(20/100,2)-80/100*log(80/100,2)=0.722

信息增益

信息增益是确定性的增加，是从一个状态到另一个状态信息的变化，信息增益越大，对确定性贡献越大。
例：搜集了几种植物果实的颜色和味道，根据这两个信息确定是否为水果。

名称	颜色	是否甜	是否是水果
西红柿	红	否	否
黄瓜	绿	否	否
苹果	红	是	是
提子	红	是	是

一：不考虑任何特征， 直接去估计结果。其中，两个是水果，两个不是水果，概论均为2/4
$E=-2/4\ast log(2/4,2)-2/4\ast log(2/4,2)=1$
二：考虑以颜色为参考信息，判断是否为水果。其中，红色的有3个，2个是水果，1个不是，绿色的都不是，概率分别为：2/3，1/3以及1，0
$E=3/4\ast (-2/3\ast log(2/3,2)-1/3\ast log(1/3,2))+1/4\ast (-1\ast log(1,2))=0.689$
三：考虑以味道为参考信息，判断是否为水果。其中，甜味的2个全是水果，不甜的2个全不是水果，概率分别为：1，0以及0，1
$E=2/4\ast (-2/2\ast log(2/2,2))+2/4\ast (-2/2\ast log(2/2,2))=0$
单纯考虑颜色的信息增益：1-0.689=0.311
单纯考虑味道的信息增益：1-0=1
基于这个数据集，我们想判断是否为水果时，应优先考虑信息增益大的特征——味道。

明确分支终止条件

常用的分支终止条件有：（这里选择纯度）

• 纯度：数据集内结果一致停止循环
• 记录条数：数据集内记录条数等于或小于规定的记录条数时停止循环
• 循环次数：循环一定次数后停止

构建决策树

第一级特征选择

计算整体的熵：${熵}_{整体}=-\frac{5}{14}lo{g}_2\frac{5}{14}-\frac{9}{14}lo{g}_2\frac{9}{14}=0.940286$
计算年龄的熵：${熵}_{年龄}=\frac{5}{14}(-\frac{3}{5}lo{g}_2\frac{3}{5}-\frac{2}{5}lo{g}_2\frac{2}{5})+\frac{4}{14}(-\frac{4}{4}lo{g}_2\frac{4}{4})+\frac{5}{14}(-\frac{3}{5}lo{g}_2\frac{3}{5}-\frac{2}{5}lo{g}_2\frac{2}{5})=0.694$
计算收入层次的熵：${熵}_{收入}=\frac{4}{14}(-\frac{2}{4}lo{g}_2\frac{2}{4}-\frac{2}{4}lo{g}_2\frac{2}{4})+\frac{6}{14}(-\frac{4}{6}lo{g}_2\frac{4}{6}-\frac{2}{6}log2\frac{2}{6})+\frac{4}{14}(-\frac{3}{4}lo{g}_2\frac{3}{4}-\frac{1}{4}lo{g}_2\frac{1}{4})=0.911$
计算是否单身的熵：${熵}_{是否单身}=\frac{7}{14}(-\frac{6}{7}lo{g}_2\frac{6}{7}-\frac{1}{7}lo{g}_2\frac{1}{7})+\frac{7}{14}(-\frac{4}{7}lo{g}_2\frac{4}{7}-\frac{3}{7}lo{g}_2\frac{3}{7})=0.788$
计算信用等级的熵：${熵}_{信用等级}=\frac{8}{14}(-\frac{2}{8}lo{g}_2\frac{2}{8}-\frac{6}{8}lo{g}_2\frac{6}{8})+\frac{6}{14}(-\frac{3}{6}lo{g}_2\frac{3}{6}-\frac{3}{6}lo{g}_2\frac{3}{6})=0.892$
计算信息增益：
基于年龄的信息增益=0.94-0.694=0.246
基于收入的信息增益=0.94-0.911=0.029
基于单身的信息增益=0.94-0.788=0.152
基于信用的信息增益=0.94-0.892=0.048
基于年龄的信息增益最大，即当前最佳特征，第一级特征选择年龄

产生分支

年龄的取值有三种：青少年、中年、老年，按这三种分成三个数据子集

第二级特征选择

首先看青少年分支，看是否满足终止条件，不满足则继续选择当前最佳特征。
计算熵和信息增益
${熵}_{整体(青少年)}=0.971$
${熵}_{收入(青少年)}=0.4；信息增益=0.571$
${熵}_{单身(青少年)}=0；信息增益=0.971$
${熵}_{信用(青少年)}=0.951；信息增益=0.02$
第二级特征选择单身，拆分数据集

满足终止条件，退出分支

两个分支的整体熵均为0，纯度已满足退出条件

继续计算其他分支

青少年分支已经全部处理完了，接下来看中年分支

首先判断是否满足终止条件，可以看到，它的整体熵为0，纯度已满足退出条件

中年分支也已经处理完了，接下来处理老年分支
判断是否满足终止条件，不满足则选择当前最佳特征
计算熵和信息增益
${熵}_{整体(老年)}=0.971$
${熵}_{收入(老年)}=0.951；信息增益=0.02$
${熵}_{单身(老年)}=0.951；信息增益=0.02$
${熵}_{信用(老年)}=0；信息增益=0.971$
第二级特征选择信用，拆分数据集

两个分支的整体熵均为0，纯度满足退出条件
此时，所有分支都已经处理完了

生成结果

其他决策树算法

ID3系列算法

ID3（Iterative Dichotomiser 3，迭代树三代）：

核心是信息熵，根据信息增益决定树的节点，但存在以下问题：

信息度量不合理：倾向于选择取值多的字段

输入类型但一：离散型

不做剪枝，容易过拟合

C4.5：相比于ID3的改进：

使用信息增益率代替信息增益

能对连续属性进行离散化，对不完整数据进行处理

能进行剪枝

C50：相比于C4.5的改进：

使用了Boosting

前修剪、后修剪

还有一种常见的决策树的分类方法

CART 分类回归树

• 其核心是基尼系数（Gini）
• 分类是二叉树
• 支持连续值和离散值
• 后剪枝进行修剪
• 支持回归，可以预测连续值

对比

算法	支持模型	树结构	特征选择	连续值处理	缺失值处理	剪枝
ID3	分类	多叉树	信息增益	不支持	不支持	不支持
C4.5	分类	多叉树	信息增益率	支持	支持	支持
CART	分类、回归	二叉树	基尼系数	支持	支持	支持