《机器学习实战》笔记(三):Ch3 - 决策树

第三章 决策树(代码)

  • 决策树算法优缺点

    • 优点:计算复杂度不高,输出结果易于理解,对中间值不明干,可以处理不相关特征数据。

    • 缺点:可能会产生过度匹配。

    • 范围:数值型和标称型。

  • 决策树的一般流程

    • 收集数据

    • 准备数据:树构造算法只适用于标称型数据,因此数值型数据必须离散化

    • 分析数据:可以使用任何方法,构造树完成之后,应该检查图形是否符合预期

    • 训练算法:使用经验树计算错误率

    • 使用算法:此步骤可以适用于任何监督学习算法,而使用决策树可以更好地理解数据的内在含义

  • 信息增益

    • 原则: 将无序的数据变得更加有序。

    • 在划分数据集之前之后信息发生的变化

    • 熵: 信息的期望值,或者集合信息的度量方式。

    • 若数据都为一类,那么H=-1*log2(1)=0,不用任何信息就能区分这个数据。

    • 如有一枚正反两面硬币,分为正面或者反面的概率都为0.5, H= -0.5log2(0.5) - 0.5log2(0.5) = 1, 需要一个单位比特信息区分是否是正面或者反面,也即0或者1。

    • 熵,代表信息的混乱度信息。其基本作用就是消除人们对事物的不确定性。一个系统越是有序,信息熵就越低;反之,一个系统越是混乱,信息熵就越高。所以,信息熵也可以说是系统有序化程度的一个度量。

    • 具体地可参考《信息论》。

  • 划分数据集

    将每个特征划分数据集的结果计算一次信息熵,然后判断按照哪个特征划分数据集是最好的划分方式。

  • 递归构建决策树

    • 工作原理:得到原始数据集,基于最好的属性值划分数据集,第一次划分后,再次划分数据。因此可以递归处理数据集。

    • 递归结束的条件:划分数据集所有属性,或者每个分支下的所有实例都具有相同的分类。

    • 如果数据集已经处理了所有属性,但是类标签依然不是唯一的,此时我们通常采用多数表决的方法决定该叶子节点的分类。

  • 测试算法:使用决策树执行分类

    • 执行分类时,需要使用决策树以及用于决策树的标签向量。

    • 测试数据与决策树上的数值,递归执行该过程直到进入叶子节点。

    • 最后将测试数据定义为叶子节点所属的属性。

  • 使用算法:决策树的存储

    为了节约时间和节省内存消耗,使用了pickle模块序列化对象。

  • 例子:使用决策树预测隐形眼睛类型

    目标:通过决策树预测患者需要佩戴的隐形眼睛类型。

    import trees
    fr = open('lensens.txt')
    lenses = [inst.strip().split('\t') for inst in fr.readlines()]
    lenseslabels = ['age', 'prescipt', 'astigmatic', 'tearRate']
    lensestree = trees.create_tree(lenses, lenseslabels)    
    lensestree
    treePlotter.create_plot(lensestree)
    
  • 小节

    这里主要是采用ID3算法划分数据集,用递归的方法将数据集转化为决策树,并可用pickle模块存储决策树的结构。ID3算法无法处理直接数值型数据,需要将其化为标量型数值。决策树最大的缺点在于过拟合问题。在构建树的时候,其能够完全匹配实验数据,但是这并不是我们想要的,为此,可以删掉一些只增加了很少信息的节点,将其并入到其他叶子节点中,或者裁剪一些分支。具体决策树的很多问题也待整理。


代码托管见Github

你可能感兴趣的:(《机器学习实战》笔记(三):Ch3 - 决策树)