《数据挖掘导论》CH4分类：基本概念、决策树与模型评估-读书笔记

分类任务就是确定对象属于哪个预定义的目标类（店铺病历表，款式判断）

4.1预备知识

分类计数非常适合预测或描述二元或标称类型的数据集，但是分类技术不考虑隐含的序数关系。

4.2解决分类问题的一般方法（方法论）P91（图4-3）

分类技术是一种根据输入数据集建立分类模型的系统方法。分类法包括：决策树分类法，基于规则的分类法，神经网络，支持向量机和朴素贝叶斯分类法。分类模型能够很好的拟合输入数据中类标号和属性集之间的联系，因此训练算法的主要目的就是建立具有很好繁华能力的模型。（即建立能够准确预测位置样本类标号的模型。）

4.3决策树归纳（可用于店铺病例诊断）

原理：一系列的问题和这些问题的可能回答可以组织成决策树的形式。树中包含三种节点：根节点，内部结点，叶结点或终结点。

建立：Hunt算法

属性；类型：二元属性，标称属性，序数属性，连续属性（比较或分区间）

最佳划分度量：选择最佳划分的度量通常是根据划分后子女节点不纯性的程度。熵，Gini，X2是常用的三种不纯性计算方法。不纯性越低，类分布就越倾斜。划分前和划分后的不纯程度相差越大，效果越好，计算相差程度用信息增益。

特点总结：

1.决策树归纳是一种构建分类模型的非参数方法。它补要求任何先验假设，不假定类和其他属性服从一定的概率分布。

2.已开发的构建决策树技术不需要昂贵的计算代价，即使训练集非常大，亦可以快速建立。决策树一旦建立，未知样本分类非常快。

3.决策树相对容易解释。

4.决策树是离散值函数的典型代表，但它不能很好的推广到特定的布尔问题。

5.决策树算法对于噪声的干扰具有相当好的鲁棒性。

6.在叶结点，记录可能太少，对于叶结点代表的类，不能做出具有统计意义的判决，这就是所谓的数据碎片。解决方法，就是当样本数小于某个特定阈值时停止分裂。

4.4模型的过分拟合

当决策树很小时，训练和检验误差都很大，这是由于模型尚未学习到数据的真实结构，模型拟合不足。但决策树过大后，训练误差会逐渐降低，而检验误差开始增大，称为过拟合(模型过分拟合)。原因在于，过于庞大的决策树可能拟合了训练样本中的噪声数据，这些结点降低了决策树的性能，不能很好的泛化到检验样本。出现过拟合的情况：噪声数据导致的过拟合，缺乏代表性样本导致的过分拟合，多重比较过程。

4.4.4估计泛化误差

估计误差能助于学习算法进行模型选择，即找到一个具有合适复杂度、不易发生过分拟合的模型。理想的复杂度是能产生最低泛化的模型的复杂度。由于模型依靠训练数据，对检验数据的性能，只能进行估计。对泛化误差估计的方法有：使用再代入估计（训练误差=泛化误差），结合模型复杂度，估计统计上界，使用确认集。

4.4.5处理决策归纳中的过分拟合

先剪枝：设定结束条件，比如观察到不纯性度量的增益低于某个确定阈值就停止扩展叶。/后剪枝：初始决策树按照最大规模生长，然后用心叶结点替换子树。

4.5评估分类器的性能：通过估计泛化误差，模型已建立，接下来需要在检验数据集上测试性能，用检验集上的准确率来比较模型性能。比较的方法主要有四：1.保持方法（将原始数据分为训练数据+检验数据）；2.随机二次抽样：（可以多次重复保持方法来改进对分类器性能的估计）；3.交叉验证（原始数据分成k份，每次1份作为检验数据，其余的作为训练数据，以此轮转，每个记录用于训练的次数相同，并且恰好检验一次。）；4.自助法（训练记录采用有放回抽样）。

4.6比较分类器的方法：不同的数据集大小不同，两个分类器准确率上的差异可能不是统计显著的。借助统计检验方法来对不同模型进行比较。

4.6.1估计准确度的置信区间

4.6.2比较两个模型的性能

4.6.3比较两种分类法的性能

第四章 思维导图