《机器学习实战》DecisionTree学习笔记

决策树的优缺点

优点:计算复杂度不高，输出结果易于理解，对中间值不明干，可以处理不相关特征数据。
缺点:可能会产生过度匹配。
范围:数值型和标称型。

决策树的一般流程

收集数据

准备数据：树构造算法只适用于标称型数据，因此数值型数据必须离散化

分析数据：可以使用任何方法，构造树完成之后，应该检查图形是否符合预期

训练算法：使用经验树计算错误率

使用算法：此步骤可以适用于任何监督学习算法，而使用决策树可以更好地理解数据的内在含义

信息增益

原则: 将无序的数据变得更加有序。

在划分数据集之前之后信息发生的变化

熵: 信息的期望值，或者集合信息的度量方式。

熵

熵定义为信息的期望值。

伪代码函数createBranch()

检测数据集中的每个子项是否属于同一类：
	If so return 类标签
	Else 
			寻找划分数据集的最好特征
			划分数据集
			创建分支节点
					for 每个划分的子集
							调用函数createBranch并增加返回结果到分支节点中
					return 分支节点