《机器学习实战》DecisionTree学习笔记

决策树的优缺点

优点:计算复杂度不高,输出结果易于理解,对中间值不明干,可以处理不相关特征数据。
缺点:可能会产生过度匹配。
范围:数值型和标称型。

决策树的一般流程

收集数据

准备数据:树构造算法只适用于标称型数据,因此数值型数据必须离散化

分析数据:可以使用任何方法,构造树完成之后,应该检查图形是否符合预期

训练算法:使用经验树计算错误率

使用算法:此步骤可以适用于任何监督学习算法,而使用决策树可以更好地理解数据的内在含义

信息增益

原则: 将无序的数据变得更加有序。

在划分数据集之前之后信息发生的变化

熵: 信息的期望值,或者集合信息的度量方式。

熵定义为信息的期望值。

伪代码函数createBranch()

检测数据集中的每个子项是否属于同一类:
	If so return 类标签
	Else 
			寻找划分数据集的最好特征
			划分数据集
			创建分支节点
					for 每个划分的子集
							调用函数createBranch并增加返回结果到分支节点中
					return 分支节点

你可能感兴趣的:(《机器学习实战》,决策树,机器学习)