《机器学习实战》笔记（三）：Ch3 - 决策树

第三章 决策树(代码)

• 决策树算法优缺点

  • 优点:计算复杂度不高，输出结果易于理解，对中间值不明干，可以处理不相关特征数据。

  • 缺点:可能会产生过度匹配。

  • 范围:数值型和标称型。

• 决策树的一般流程

  • 收集数据

  • 准备数据：树构造算法只适用于标称型数据，因此数值型数据必须离散化

  • 分析数据：可以使用任何方法，构造树完成之后，应该检查图形是否符合预期

  • 训练算法：使用经验树计算错误率

  • 使用算法：此步骤可以适用于任何监督学习算法，而使用决策树可以更好地理解数据的内在含义

• 信息增益

  • 原则: 将无序的数据变得更加有序。

  • 在划分数据集之前之后信息发生的变化

  • 熵: 信息的期望值，或者集合信息的度量方式。

• 熵

  • 若数据都为一类，那么H=-1*log2(1)=0，不用任何信息就能区分这个数据。

  • 如有一枚正反两面硬币，分为正面或者反面的概率都为0.5, H= -0.5log2(0.5) - 0.5log2(0.5) = 1, 需要一个单位比特信息区分是否是正面或者反面，也即0或者1。

  • 熵，代表信息的混乱度信息。其基本作用就是消除人们对事物的不确定性。一个系统越是有序，信息熵就越低；反之，一个系统越是混乱，信息熵就越高。所以，信息熵也可以说是系统有序化程度的一个度量。

  • 具体地可参考《信息论》。

• 划分数据集

  将每个特征划分数据集的结果计算一次信息熵，然后判断按照哪个特征划分数据集是最好的划分方式。

• 递归构建决策树

  • 工作原理：得到原始数据集，基于最好的属性值划分数据集，第一次划分后，再次划分数据。因此可以递归处理数据集。

  • 递归结束的条件：划分数据集所有属性，或者每个分支下的所有实例都具有相同的分类。

  • 如果数据集已经处理了所有属性，但是类标签依然不是唯一的，此时我们通常采用多数表决的方法决定该叶子节点的分类。

• 测试算法:使用决策树执行分类

  • 执行分类时，需要使用决策树以及用于决策树的标签向量。

  • 测试数据与决策树上的数值，递归执行该过程直到进入叶子节点。

  • 最后将测试数据定义为叶子节点所属的属性。

• 使用算法:决策树的存储

  为了节约时间和节省内存消耗，使用了pickle模块序列化对象。

• 例子:使用决策树预测隐形眼睛类型

  目标:通过决策树预测患者需要佩戴的隐形眼睛类型。

  import trees
  fr = open('lensens.txt')
  lenses = [inst.strip().split('\t') for inst in fr.readlines()]
  lenseslabels = ['age', 'prescipt', 'astigmatic', 'tearRate']
  lensestree = trees.create_tree(lenses, lenseslabels)    
  lensestree
  treePlotter.create_plot(lensestree)
  

• 小节

  这里主要是采用ID3算法划分数据集，用递归的方法将数据集转化为决策树，并可用pickle模块存储决策树的结构。ID3算法无法处理直接数值型数据，需要将其化为标量型数值。决策树最大的缺点在于过拟合问题。在构建树的时候，其能够完全匹配实验数据，但是这并不是我们想要的，为此，可以删掉一些只增加了很少信息的节点，将其并入到其他叶子节点中，或者裁剪一些分支。具体决策树的很多问题也待整理。

---

代码托管见Github