2019-04-03

1.信息论基础

1.1熵：随机变量不确定性的度量。熵越大表示这个随机变量不确定性越小。

1.2联合熵：2个随机变量不确定性的度量。联合分布的度量。

1.3条件熵：条件熵 不等于 条件概率分布，它表示在引入Y这个随机变量，X剩下的不确定性。条件熵=  x,y联合熵 - y熵

1.4信息增益：

I（x,y) = H(x) - H(X|Y) 

它度量了X在知道Y以后不确定性减少程度。称为互信息。

2.决策树不同算法

在决策树中，C3.0特征选择的标准就是信息增益。

D4.5特征选择用的是信息增益比

CART树回归用的是均方误差

分类用的是gini指数最小化准则。

3.回归树的原理：

CART回归树的度量目标是，对于任意划分特征A，对应的任意划分点s两边划分成的数据集D1和D2，求出使D1和D2各自集合的均方差最小，同时D1和D2的均方差之和最小所对应的特征和特征值划分点。表达式为：

用最终叶子的均值或者中位数来预测输出结果。

4.决策树防止过拟合的方法-剪枝

剪枝分为先剪枝和后剪枝。

先剪枝指在决策树生成过程中，进行条件判断来进行剪枝。一般效果不好。

后剪枝指在整颗决策树生成完全后，由下往上进行剪枝。

4.1 CART决策树剪枝：

损失函数的度量：对于任意内部节点，下面有一颗子树，其损失函数为：

剪枝后的损失函数度量：如果对于任意内部节点，如果进行剪枝，把其下面的子树剪掉，损失函数的度量。

内部节点作为叶子节点：叶子节点个数=1.

注意：一般叶子节点越多T越大，说明预测误差越小，C(T)越小。但是容易过拟合，所以需要a正则化来制衡。

当a很小时，对叶子节点的约束就很小，相当于没有惩罚。

此时不剪枝的损失函数肯定小于剪枝的损失函数。

当a无穷大时，只有叶子节点的损失函数肯定小于不剪枝的。

当a从0不剪枝不断增加到无穷大，肯定有个点使不剪枝 = 剪枝。

如此剪枝下去，直到根节点，这一过程中，a不断增加，产生新的区间。

1.剪枝，形成子树序列。

2.剪枝得到的子树序列T0，T1,T2,...,Tn中通过交叉验证选取最优子树Ta。

6.决策树sklearn参数：