机器学习算法进阶学习笔记——决策树与随机森林

决策树与随机森林

决策树（Decision Tree)
囗决策树是一种树型结构，其中每个内部结点表示在一个属性上的测试，每个分支代表一
个测试输出，每个叶结点代表一种类别。
囗决策树学习是以实例为基础的归纳学习。
口决策树学习采用的是自顶向下的递归方法，其基本思想是以信息熵为度量构造一棵熵值下降最快的树，到叶子节点处的熵值为零，此时每个叶节点中的实例都属于同一类。

信息增益

概念：当熵和条件熵中的概率由数据估计（特别是极大似然估计）得到时，所对应的熵和条件熵分别称为经验熵和经验条件熵。

信息增益表示得知特征A的信息而使得类X的信息的不确定性减少的程度。

定义: 特征$A$对训练数据集$D$的信息增益 $\mathrm{g}(\mathrm{D},\mathrm{A})$,的经验条件熵$H(D|A)$之差, 即：
$\mathrm{g}(\mathrm{D},\mathrm{A})=\mathrm{H}(\mathrm{D})-\mathrm{H}(\mathrm{D}\mid \mathrm{A})$
显然， 这即为训练数据集$D$和特征$A$的互信息。

条件熵

$H(X,Y)-H(X)$
$=-{\sum }_{x,y}p(x,y)\log p(x,y)+{\sum }_{x}p(x)\log p(x)$
$=-{\sum }_{x,y}p(x,y)\log p(x,y)+{\sum }_x\left({\sum }_{y}p(x,y)\right)\log p(x)$
$=-{\sum }_{x,y}p(x,y)\log p(x,y)+{\sum }_{x,y}p(x,y)\log p(x)$
$=-{\sum }_{x,y}p(x,y)\log \frac{p(x,y)}{p(x)}$
$=-{\sum }_{x,y}p(x,y)\log p(y\mid x)$
$=-{\sum }_x{\sum }_{y}p(x,y)\log p(y\mid x)$
$=-{\sum }_x{\sum }_{y}p(x)p(y\mid x)\log p(y\mid x)$
$=-{\sum }_{x}p(x){\sum }_{y}p(y\mid x)\log p(y\mid x)$
$={\sum }_{x}p(x)\left(-{\sum }_{y}p(y\mid x)\log p(y\mid x)\right)$
$={\sum }_{x}p(x)H(Y\mid X=x)$
$=H(Y\mid X)$

经验条件熵$\mathrm{H}(\mathrm{D}\mid \mathrm{A})$

$H(D\mid A)=-{\sum }_{i,k}p\left(D_k,A_i\right)\log p\left(D_k\mid A_i\right)$
$=-{\sum }_{i,k}p\left(A_i\right)p\left(D_k\mid A_i\right)\log p\left(D_k\mid A_i\right)$
$=-{\sum }_{i=1}^n{\sum }_{k=1}^{K}p\left(A_i\right)p\left(D_k\mid A_i\right)\log p\left(D_k\mid A_i\right)$
$=-{\sum }_{i=1}^{n}p\left(A_i\right){\sum }_{k=1}^{K}p\left(D_k\mid A_i\right)\log p\left(D_k\mid A_i\right)$
$=-{\sum }_{i=1}^n\frac{|D_i|}{|D|}{\sum }_{k=1}^K\frac{|D_{ik}|}{|D_i|}\log \frac{|D_{ik}|}{|D_i|}$

信息增益率

$\square$ 信息增益率 $:{\mathrm{g}}_{\mathrm{r}}(\mathrm{D},\mathrm{A})=\mathrm{g}(\mathrm{D},\mathrm{A})/\mathrm{H}(\mathrm{A})$

基尼系数

$\square$ Gini 系数：
$\begin{array}{l}\mathrm{Gini}(p)={\sum }_{k=1}^K{p}_k\left(1-p_k\right)=1-{\sum }_{k=1}^K{p}_k^2\\ =1-{\sum }_{k=1}^K{\left(\frac{|C_k|}{|D|}\right)}^2\end{array}$

将 $\mathrm{f}(\mathrm{x})=-lnx$ 在 $\mathrm{x}=1$ 处一阶展开， 忽略高阶无穷小, 得 到 $\mathrm{f}(\mathrm{x})\approx 1-\mathrm{x}$

决策树评价

$\square$ 假定样本的总类别为K个。
$\square$ 对于决策树的某叶结点，若某类样本$n_{\mathrm{j}}=\mathrm{n}而{\mathrm{n}}_1,\dots ,{\mathrm{n}}_{\mathrm{j}-1},{\mathrm{n}}_{\mathrm{j}+1},\dots ,{\mathrm{n}}_{\mathrm{K}}=0$ ，称该结点为纯结点：
若各类样本数目 ${\mathrm{n}}_1={\mathrm{n}}_2=\dots ={\mathrm{n}}_{\mathrm{k}}=\mathrm{n}/\mathrm{K}$, 称该样本为均结点。
$\square$ 纯节点的熵${\mathrm{H}}_p=0$最小
$\square$ 均结点的熵 ${\mathrm{H}}_{\mathrm{u}}=\ln \mathrm{K},$ 最大
$\square$ 对所有叶节点的熵求和，该值越小说明对样本的分类越精确。
$\square$ 各叶结点包含的样本数目不同，可使用样本数加权求和。
$\square$ 评价函数: $C(T)={\sum }_{t\in leaf}{N}_t\cdot H(t)$。
由于该评价函数越小越好，所以，可以称之为“损失函数”。

随机森林

解决决策树过拟合问题

可以使用决策树作为基本分类器，也可以使用SVM、Logistic回归等其他分类器，习惯上，这些分类器组成的“总分类器”，仍然叫做随机森林。

Bootstrap

Bootstraping的名称来自成语“pull up by your own bootstraps”,意思是依靠你自己的资源，称为自助
法，它是一种有放回的抽样方法。

bootstrap aggregation从样本集中重系样（有重复的）选出n个样本在所有属性上，对这n个样本建立分类器(ID3、C4.5、CART、SVM、Logistic回归等）重复以上两步m次，即获得了m个分类器将数据放在这m个分类器上，最后根据这m个分类器的投票结果，决定数据属于哪一类。

可以发现，Bootstrap每次约有36.79%的样本不会出现在Bootstrap所采集的样本集合中，将未参与模型训练的数据称为袋外数据OOB(Out Of Bag)。它可以用于取代测试集用于误差估计。

投票机制

• 简单投票机制
  • 一票否决（一致表决）
  • 少数服从多数
    • 有效多数（加权）
  • 阈值表决
• 贝叶斯投票机制