[统计学习方法笔记]第5章-决策树

决策树模型呈树状结构，是一种基本的分类与回归方法。在分类任务中，表示基于特征对实例进行分类的过程。

特征选择

特征选择在于选取对训练数据具有分类能力的特征，也就是决定用哪个特征来划分特征空间。一般特征选择的准则是信息增益或信息增益比。

信息增益

在介绍信息增益前，先了解一下熵以及条件熵的概念。
熵
熵表示随机变量不确定性的度量。设X表示一个取值有限的离散随机变量，其概率分布为：
$$P(X=x_i)=p_i,i=1,2,...,n$$ 随机变量X的熵定义为：
$$H(X)=-\sum _{i=1}^n{p}_i\log p_i$$ 熵只依赖于X的分布，与X的取值无关，H(X)可以记作：
$$H(p)=-\sum _{i=1}^n{p}_i\log p_i$$ 当X只有两个（1，0）取值时，X的分布：
$$P(X=1)=p,P(X=0)=1-p,0<=p<=1$$ 此时熵为：
$$H(p)=-p{\log }_{2}p-(1-p){\log }_2(1-p)$$ 熵取值越大，随机变量不确定性最大。

条件熵
条件熵H(Y|X)表示在已知随机变量X的条件下，随机变量Y的不确定性，其定义为X给定条件下Y的条件概率分布的熵对X的数学期望。
$$H(Y|X)=\sum _{i=1}^n{p}_{i}H(Y|X=x_i)$$ 其中$p_i=P(X=x_i),i=1,2,...,n$

信息增益
信息增益表示得知特征X的信息而使得类Y的信息的不确定性减少的程度。
特征A对训练数据集D的信息增益g(D, A)， 定义为集合D的经验熵H(D)与特征A给定条件下D的经验条件熵H(D|A)之差，即为：
$$g(D,A)=H(D)-H(D|A)$$
熵H(Y)与条件熵H(Y|X)之差也称为互信息，所以信息增益等价于互信息。

信息增益比
信息增益作为划分数据集的特征时，存在偏向于选择取值较多的特征问题，而信息增益比可以校正这一问题。
特征A对训练数据集D的信息增益比$g_r(D,A)$，定义为其信息增益g(D,A)与训练数据集D关于特征A的熵$H_A(D)$之比，即：
$$g_R(D,A)=\frac{g(D,A)}{H_A(D)}$$
n是特征A取值的个数，根据特征A取值划分D为n个集合，则：
$$H_A(D)=-\sum _{i=1}^n\frac{|D_i|}{D}{\log }_2\frac{|D_i|}{D}$$

决策树的生成

ID3算法：选择信息增益最大的特征作为结点的特征

C4.5算法：选择信息增益比最大的特征作为节点的特征

决策树的剪枝

决策树的剪枝一般通过极小化决策树整体的损失函数来实现。
设树T的叶节点个数为|T|，t是树T的叶节点，该叶节点有$N_t$个样本点，其中k类的样本点有N_{tk}个，k=1,2,…,K，$H_t(T)$为叶节点t上的经验熵：
$$H_t(H)=-\sum _{k=1}^K\frac{N_{tk}}{N_t}\log \frac{N_{tk}}{N_t}$$
决策树学习的损失函数为$C_{\alpha }(T)$，其中参数$\alpha \ge 0$：
$$C_{\alpha }(T)=\sum _{t=1}^{|T|}{N}_t{H}_t(T)+\alpha |T|$$
将上述公式右边第一项记为C(T)，则：
$$C(T)=\sum _{t=1}^{|T|}{N}_t{H}_t(T)=-\sum _{t=1}^{|T|}\sum _{k=1}^K{N}_{tk}\log \frac{N_{tk}}{N_t}$$
$$C_{\alpha }(T)=C(T)+\alpha |T|$$
C(T)表示模型对训练数据的预测误差，即模型与训练数据的拟合程度，|T|表示模型复杂度，参数$\alpha$控制两者之间的影响。
剪枝就是当$\alpha$确定时，选择损失函数最小的模型。
决策树生成学习局部的模型，而决策树剪枝学习整体的模型。

CART树

决策树的生成就是递归地构建二叉树决策的过程，对回归树用平方误差最小化准则，对分类树用基尼指数最小化准则。
最小二乘回归树生成算法
回归树就是在训练数据集上，递归地将每个区域划分为两个子区域，并决定每个子区域上的输出值，构建二叉树，主要有如下四步：
（1）选择最优切分变量j与切分点s，求解
$$\underset{j,s}{\min }\left[\underset{c1}{\min }\sum _{x1\in R_1(j,s)}(y_i-c_1{)}^2+\underset{c2}{\min }\sum _{x1\in R_2(j,s)}(y_i-c_2{)}^2\right]$$
遍历变量j，对固定的切分变量j扫描切分点s，选择使上式达到最小值的对(j,s)
（2）用选定的对(j,s)划分区域并决定相应的输出值：
$$R_1(j,s)=\{x|x^{(j)}\le s\},R_2(j,s)=\{x|x^{(j)}\ge s\}$$
$${\hat{c}}_m=\frac{1}{N_m}\sum _{x_i\in R_m(j,s)}{y}_i,其中x\in R_m,m=1,2$$
（3）继续对两个子区域调用步骤（1）,（2），直到满足停止条件
（4）将输入空间划分为M个区域$R_1,R_2,...,R_M$，生成决策树：
$$f(x)=\sum _{m=1}^M{\hat{c}}_{m}I(x\in R_m)$$

基尼指数
假设有K个类，样本点属于第k类的概率为$p_k$，则概率分布的基尼指数定义为
$$Gini(p)=\sum _{k=1}^K{p}_k(1-p_k)=1-\sum _{k=1}^K{p}_k^2$$
对于二分类问题，样本点属于第1类的概率为p，则概率分布的基尼指数为
$$Gini(p)=2p(1-p)$$
对于给定的样本集合D，$C_k$表示D中属于第k类的样本子集，则基尼指数为
$$Gini(D)=1-\sum _{k=1}^K{\left(\frac{|C_k|}{|D|}\right)}^2$$
如果集合D根据特征A是否取值为a被分割成D1和D2两部分，即
$$D_1=\{(x,y)\in D|A(x)=a\},D_2=D-D_1$$
则在特征A的条件下，集合D的基尼指数定义为
$$Gini(D,A)=\frac{|D_1|}{|D|}Gini(D_1)+\frac{|D_2|}{|D|}Gini(D_2)$$

未完成，待整理。。。