二、机器学习基础13(熵、信息增益、剪枝处理、SVM)

熵：度量随机变量的不确定性。

信息增益

定义： 以某特征划分数据集前后的熵的差值。
熵可以表示样本集合的不确定性，熵越大，样本的不确定性就越大。因此可以使用划分前后集合熵的差值来衡量使用当前特征对于样本集合 D 划分效果的好坏。

假设划分前样本集合D的熵为H(D) 。使用某个特征A划分数据集D，计算划分后的数据子集的熵为H(D|A)
则信息增益为：

 注：在决策树构建的过程中我们总是希望集合往最快到达纯度更高的子集合方向发展，因
此我们总是选择使得信息增益最大的特征来划分当前数据集 D。

信息增益比=惩罚参数 *信息增益

惩罚参数：数据集 D 以特征 A 作为随机变量的熵的倒数

剪枝处理

剪枝处理是决策树学习算法用来解决过拟合的一种办法。

剪枝的基本策略有预剪枝(prepruning)和后剪枝(postprunint)。

预剪枝：在决策树生成过程中，在每个节点划分前先估计其划分后的泛化性能， 如果不能提升，则停止划分，将当前节点标记为叶结点。
后剪枝：生成决策树以后，再自下而上对非叶结点进行考察， 若将此节点标记为叶结点可以带来泛化性能提升，则修改之。

支持向量机

SVM - Support Vector Machine。支持向量机，其含义是通过支持向量运算的分类器。其中
“机”的意思是机器，可以理解为分类器。

解决的问题：线性分类、非线性分类

超平面（hyperplane）、最大间隔超平面（maximum-margin hyperplane）、最大间隔分类器（maximum-margin classifier），支持向量机是一个二类分类器。

结合使用拉格朗日乘子法和 KKT 条件，以及核函数可以产生非线性分类器。