西瓜书第八章 集成学习

集成学习

1、个体与集成

“三个臭皮匠，顶个诸葛亮”，集成学习通过集合多个个体学习器的结果来提升预测结果的准确性以及泛化能力。

“君子和而不同”个体学习器需要比随机猜想要强一些，个体学习器的预测结果也要具有一定的多样性。

	样本a	样本b	样本c		样本a	样本b	样本c		样本a	样本b	样本c
学习器1	1	1	0		1	0	0		1	1	0
学习器2	1	0	1		0	1	0		1	1	0
学习器3	0	1	1		0	0	1		1	1	0
集成结果	1	1	1		0	0	0		1	1	0

表中集成结果的产生采用的是投票法产生，即“少数服从多数”。前三列样本a，b，c训练出的学习器集成后的性能优于单个学习器，而中间三列样本训练出的学习器因为准确性较低（低于50%），所以最后集成的结果比单个学习器更差。最后三列样本训练出的学习器缺乏多样性，所以集成的结果也并未比单个学习器更好。

集成个体学习器的收敛性保证：
$$\begin{array}{rl}P(H(x)\ne f(x))& =\sum _{k=0}^{\lfloor T/2\rfloor }{(}_k^T)(1-ϵ{)}^k{ϵ}^{T-k}\\ & \le exp(-\frac{1}{2}T(1-2ϵ{)}^2)\end{array}$$
$ϵ$为学习器的错误率，$H(x)$为多个学习器集成的结果，$f(x)$为样本的真实标签，$P(.)$表示集成的错误率，按照投票法的规则，超过半数的结果才是集成的结果，和式后的式子即表示$k$个学习器预测正确的概率（$k\le \lfloor T/2\rfloor$），所以求和后即为预测错误的概率。

不等式的证明过程如下：

【推导】：由基分类器相互独立，假设随机变量$X$为$T$个基分类器分类正确的次数，因此$X\sim B(T,1-ϵ)$，设$x_i$为每一个分类器分类正确的次数，则$x_i\sim B(1,1-ϵ)i=1,2,3,...T$，那么有
$$\begin{gathered} X=\sum _{i=1}^T{x}_i \\ \mathbb{E}=\sum _{i=1}^T=(1-ϵ)T \end{gathered}$$
所以
$$\begin{array}{rl}P(H(x)\ne f(x))& =P(X\le \lfloor T/2\rfloor )\\ & \le P(X\le T/2)\\ & =P[X-(1-ϵ)T\le \frac{T}{2}-(1-ϵ)T]\\ & =P[X-(1-ϵ)T\le -\frac{T}{2}(1-2ϵ)]\\ & =P[\sum _{i=1}^T{x}_i-\sum _{i=1}^T\mathbb{E}(x_i)\le -\frac{T}{2}(1-2ϵ)]\\ & =P[\frac{1}{T}\sum _{i=1}^T{x}_i-\frac{1}{T}\sum _{i=1}^T\mathbb{E}(x_i)\le -\frac{1}{2}(1-2ϵ)]\end{array}$$
根据$Hoeffding$不等式可知
$$P(\frac{1}{m}\sum _{i=1}^m-\frac{1}{m}\sum _{i=1}^m\mathbb{E}(x_i)\le -\delta )\le exp(-2m{\delta }^2)$$
令$\delta =\frac{(1-2ϵ)}{2},m=T$得
$$\begin{array}{rl}P(H(x)\ne f(x))& =\sum _{k=0}^{\lfloor T/2\rfloor }{(}_k^T)(1-ϵ{)}^k{ϵ}^{T-k}\\ & \le exp(-\frac{1}{2}T(1-2ϵ{)}^2)\end{array}$$
两个基本结论：

• 收敛速率随着个体学习器数量$T$呈指数上升
• $ϵ=0.5$的个体集成器对收敛没有作用

2、Adaboost算法

学习$T$个个体学习器$h_t$和相应的权重${\alpha }_t$，使得他们的加权和
$$H(x)=\sum _{t=1}^T{\alpha }_t{h}_t(x)$$
能够最小化损失函数
$${\ell }_{exp}(H|\mathcal{D})={\mathbb{E}}_{x\sim \mathcal{D}}[e^{-f(x)H(x)}]$$
损失函数希望预测错了的损失要更大，当预测正确时，即$f(x)=H(x)$，$f(x)H(x)=-1$，则损失为$e^{-1}$，而预测错误的损失为$e>e^{-1}$。

**前向分布求解算法：**每一轮只学习一个学习器$h_t$和相应的权重${\alpha }_t$，第$t$轮的优化目标
$$({\alpha }_t,h_t)=\underset{\alpha ,h}{\mathrm{argmin}}(H_{t-1}+\alpha h|\mathcal{D})$$
根据指数损失函数的定义式(8.5)，有
$$\begin{array}{rl}{\ell }_{exp}(H_{t-1}+\alpha h|\mathcal{D})& ={\mathbb{E}}_{x\sim \mathcal{D}}\left[e^{-f(x)(H_{t-1}(x)+\alpha h(x))}\right]\\ & =\sum _{i=1}^{|D|}\mathcal{D}(x_i)e^{-f(x_i)(H_{t-1}(x_i)+\alpha h(x_i))}\\ & =\sum _{i=1}^{|D|}\mathcal{D}(x_i)e^{-f(x_i)H_{t-1}(x_i)}{e}^{f(x_i)\alpha h(x_i)}\end{array}$$
因为$f(x_i)$和$h(x_i)$仅可取值$\{-1,1\}$，可以推得
$$\begin{array}{rl}{e}^{-f(x_i)\alpha h(x_i)}& =e^{-\alpha f(x_i)h(x_i)}\\ & =\{\begin{array}{c}{e}^{-\alpha },f(x_i)h(x_i)=1\\ e^{\alpha },f(x_i)h(x_i)=-1\end{array}\end{array}$$

$$\begin{array}{rl}{\ell }_{exp}(H_{t-1}+\alpha h|\mathcal{D})& =\sum _{i=1}^{|D|}\mathcal{D}(x_i)(e^{-\alpha }+(e^{\alpha }-e^{-\alpha })I(f(x_i)\ne h(x_i)))\\ & =\sum _{i=1}^{|D|}\mathcal{D}(x_i)e^{-f(x_i)H_{t-1}(x_i)e^{-\alpha }}+\sum _{i=1}^{|D|}\mathcal{D}(x_i)e^{-f(x_i)H_{t-1}(x_i)}(e^{\alpha }-e^{-\alpha }I(f(x_i)\ne h(x_i)))\end{array}$$

做一个简单的符号替换，令${\mathcal{D}}_t^{\prime }(x_i)=\mathcal{D}(x_i)e^{-f(x_i)H_{t-1}(x_i)}$，并且注意到$e^{-\alpha }$和$e^{\alpha }-e^{-\alpha }$与求和变量无关，可以提出来，有
$${\ell }_{exp}(H_{t-1}+\alpha h|\mathcal{D})=e^{-\alpha }\sum _{i=1}^{|D|}{\mathcal{D}}_t^{\prime }(x_i)+(e^{\alpha }-e^{-\alpha })\sum _{i=1}^{|D|}{\mathcal{D}}_t^{\prime }(x_i)I(f(x_i)\ne h(x_i))$$
我们的目的是求解$h_t$使得${\ell }_{exp}$最小化，因此可以忽略掉$h$无关的项，即求解的目标是
$$h_t=\underset{h}{\mathrm{argmin}}(e^{\alpha }-e^{-\alpha })\sum _{i=1}^{|D|}{\mathcal{D}}_t^{\prime }(x_i)I(f(x_i)\ne h(x_i))$$
更进一步，由于$\alpha >\frac{1}{2}$，易证的$e^{\alpha }-e^{-\alpha }>0$恒成立，因此求解的目标为：
$$h_t=\underset{h}{\mathrm{argmin}}\sum _{i=1}^{|D|}{\mathcal{D}}_t^{\prime }(x_i)I(f(x_i)\ne h(x_i))$$
其中${\mathcal{D}}_t^{\prime }(x_i)=\mathcal{D}(x_i)e^{-f(x_i)H_{t-1}(x_i)}$

观察${\mathcal{D}}_t^{\prime }(x_i)$的形式可以发现它仅与$t-1$轮及之前的学习器有关，因此在求解$h_t$时，对于每个样本$i$，它其实已经固定了，如果把${\mathcal{D}}_t^{\prime }(x_i)$看作样本$i$在$t$轮学习时的权重分本，我们要根据这个权重求解学习器$h_t$以满足上面的最优化式子。

同时，为了确保${\mathcal{D}}_t^{\prime }(x_i)$是一个分布，通常我们对其进行规范化后作为下一个学习器的输入样本权重，即${\mathcal{D}}_t(x_i)=\frac{{\mathcal{D}}_t^{\prime }(x_i)}{{\sum }_{i=1}^{|D|}{\mathcal{D}}_t^{\prime }(x_i)}$，其中分母是常数，因此这个变换不会影响上述最小化的求解。

有意思的一点是，$t$轮样本权重可以通过$t-1$轮样本权重计算，而无需从头算起，以$t+1$轮为例，根据迭代公式，有：
$$\begin{array}{rl}{\mathcal{D}}_{t+1}(x_i)& =\mathcal{D}(x_i)e^{-f(x_i)H_t(x_i)}\\ & =\mathcal{D}(x_i)e^{-f(x_i)(H_{t-1}(x_i)+{\alpha }_t{h}_t(x_i))}\\ & =\mathcal{D}(x_i)e^{-f(x_i)H_{t-1}(x_i)}{e}^{-f(x_i){\alpha }_t{h}_t(x_i)}\\ & ={\mathcal{D}}_t(x_t)e^{-f(x_i){\alpha }_t{h}_t(x_i)}\end{array}$$
然后就是对权重${\alpha }_t$的求解，损失函数${\ell }_{exp}(H_{t-1}+\alpha h|\mathcal{D})$对$\alpha$求导得：
$$\begin{array}{rl}\frac{\vartheta {\ell }_{exp}(H_{t-1}+\alpha h_t|\mathcal{D})}{\vartheta \alpha }& =\frac{\vartheta (e^{-\alpha }{\sum }_{i=1}^{|D|}{\mathcal{D}}_{i=1}^{\prime }(x_i)+(e^{\alpha }-e^{-\alpha }){\sum }_{i=1}^{|D|}{\mathcal{D}}_t^{\prime }(x_i)I(f(x_i)\ne h(x_i)))}{\vartheta \alpha }\\ & =-e^{-\alpha }\sum _{i=1}^{|D|}{\mathcal{D}}_{i=1}^{\prime }(x_i)+(e^{\alpha }+e^{-\alpha })\sum _{i=1}^{|D|}{\mathcal{D}}_t^{\prime }(x_i)I(f(x_i)\ne h(x_i))\end{array}$$
令导数等于0，移项可得：
$$\begin{gathered} \frac{e^{-\alpha }}{e^{\alpha }+e^{-\alpha }}=\frac{{\sum }_{i=1}^{|D|}{\mathcal{D}}_t^{\prime }(x_i)I(f(x_i)\ne h(x_i))}{{\sum }_{i=1}^{|D|}{\mathcal{D}}_{i=1}^{\prime }(x_i)}=\sum _{i=1}^{|D|}\frac{{\mathcal{D}}_t^{\prime }(x_i)}{Z_t}I(f(x_i)\ne h(x_i)) \\ =\sum _{i=1}^{|D|}{\mathcal{D}}_t^{\prime }(x_i)I(f(x_i)\ne h(x_i))={\mathbb{E}}_{x\sim {\mathcal{D}}_t}[I(f(x_i)\ne h(x_i))]={ϵ}_t \end{gathered}$$

$$\frac{e^{-\alpha }}{e^{\alpha }+e^{-\alpha }}=\frac{1}{e^{2\alpha }+1}\Rightarrow e^{2\alpha }+1=\frac{1}{{ϵ}_t}\Rightarrow e^{2\alpha }=\frac{1-{ϵ}_t}{{ϵ}_t}\Rightarrow 2\alpha =ln\left(\frac{1-{ϵ}_t}{{ϵ}_t}\right)\Rightarrow {\alpha }_t=\frac{1}{2}ln\left(\frac{1-{ϵ}_t}{{ϵ}_t}\right)$$

当$ϵ>\frac{1}{2}$时，上式单调递减，因此误差率越大得学习器分配的权重越少。

3、Gradient Boosting

将AdaBoost问题一般化，不再局限于损失函数为指数函数，也不限定局限于二分类问题，那么更一般的Boosting形式为：
$$\begin{array}{rl}\ell (H_t|\mathcal{D})& ={\mathbb{E}}_{x\sim \mathcal{D}}[err(H_t(x),f(x))]\\ & ={\mathbb{E}}_{x\sim \mathcal{D}}[err(H_{t-1}(x)+{\alpha }_t{h}_t(x),f(x))]\end{array}$$
比如当我们研究的是回归问题时，$f(x)\in \mathbb{R}$且损失函数为平方损失函数$err(H_t(x),f(x))=(H_t(x)-f(x){)}^2$。

类似于AdaBoost，第$t$轮得到${\alpha }_t,h_t(x)$，可先对损失函数在$H_{t-1}(x)$处进行泰勒展开：
$$\begin{array}{rl}\ell (H_t|\mathcal{D}& \approx {\mathbb{E}}_{x\sim \mathcal{D}}[err(H_t(x),f(x))+\frac{\vartheta err(H_t(x),f(x))}{\vartheta H_t(x)}{|}_{H_t(x)=H_{t-1}(x)}(H_t(x)-H_{t-1}(x))]\\ & ={\mathbb{E}}_{x\sim \mathcal{D}}[err(H_t(x),f(x))+\frac{\vartheta err(H_t(x),f(x))}{\vartheta H_t(x)}{|}_{H_t(x)=H_{t-1}(x)}{\alpha }_t{h}_t(x)]\\ & ={\mathbb{E}}_{x\sim \mathcal{D}}[err(H_t(x),f(x))]+{\mathbb{E}}_{x\sim \mathcal{D}}[\frac{\vartheta err(H_t(x),f(x))}{\vartheta H_t(x)}{|}_{H_t(x)=H_{t-1}(x)}{\alpha }_t{h}_t(x)]\end{array}$$
上式中括号中第1项为常量$\ell (H_t|\mathcal{D})$，因此最小化$\ell (H_t|\mathcal{D})$只需要最小化第二项即可。先不考虑${\alpha }_t$，求解如下优化问题即可得到$h_t(x)$:
$$\begin{array}{rl}& h_t(x)=\\ & \underset{h}{\mathrm{argmin}}{\mathbb{E}}_{x\sim \mathcal{D}}[\frac{\vartheta err(H_t(x),f(x))}{\vartheta H_t(x)}{|}_{H_t(x)=H_{t-1}(x)}{h}_t(x)]\\ & s.t.constraintsforh(x)\end{array}$$
解得$h_t(x)$之后，再求解如下优化问题可得权重项${\alpha }_t$：
$${\alpha }_t=\underset{\alpha }{\mathrm{argmin}}{\mathbb{E}}_{x\sim \mathcal{D}}[err(H_{t-1}(x)+\alpha h_t(x)),f(x)]$$
以上就是梯度提升(Gradient Boosting)的理论框架，即每轮通过梯度(Gradient)下降的方式将个体弱学习器提升(Boosting)为强学习器。可以看出Adaboost是其特殊形式。

Adaboost再推导
$$\begin{array}{rl}{h}_t(x)& =\underset{h}{\mathrm{argmin}}{\mathbb{E}}_{x\sim \mathcal{D}}[\frac{\vartheta err(H_t(x),f(x))}{\vartheta H_t(x)}{|}_{H_t(x)=H_{t-1}(x)}h(x)]\\ & =\underset{h}{\mathrm{argmin}}{\mathbb{E}}_{x\sim \mathcal{D}}[\frac{\vartheta e^{-f(x)H_t(x)}}{\vartheta H_t(x)}{|}_{H_t(x)=H_{t-1}(x)}h(x)]\\ & =\underset{h}{\mathrm{argmin}}{\mathbb{E}}_{x\sim \mathcal{D}}[-f(x)e^{-f(x)H_{t-1}(x)}h(x)]=\underset{h}{\mathrm{argmin}}{\mathbb{E}}_{x\sim \mathcal{D}}[-f(x)h(x)]\end{array}$$
由$f(x),h(x)\in \{-1,1\}$，有
$$f(x)h(x)=1-2I(f(x)\ne h(x))$$
因此代入上上式化简得
$$h_t(x)=\underset{h}{\mathrm{argmin}}{\mathbb{E}}_{x\sim {\mathcal{D}}_t}[I(f(x)\ne h(x))]$$

4、GBDT和XGBoost

GBDT以Gradient Boosting为基本框架，并使用CART(决策树的变种)作为个体学习器。

1. 针对回归问题，GBDT采用平方损失作为损失函数。$err(H_t(x),f(x))=(H_t(x)-f(x){)}^2$
2. 针对二分类问题，GBDT采用对数似然估计损失函数$err(H_t(x),f(x))=log(1+exp(-H_t(x)f(x)))$

XGBoost即eXtreme Gradient Boosting的缩写，XGBoost与GBDT的关系可以类比为LIBSVM和SVM的关系，即XGBoost是GBDT的一种高效实现和改进。

5、Bagging与随机森林

Bagging是并行式集成学习的代表。我们可采样出$T$个含$m$训练样本的采样集，基于每个采样集训练一个基学习器然后将其结合起来进行预测。

自主采样法：

假设从$n$个样本有放回地抽出$n$个样本，$n$次抽样后，有的样本会重复抽到，有的样本没有被抽到，将没有被抽到的样本作为验证集，占比约为：
$$li{m}_{n\to \infty }(1-\frac{1}{n}{)}^n=\frac{1}{e}\approx 36.6\%$$
随机森林(Random Forest)是Bagging的一个扩展变体，在以决策树为基学习器构建Bagging集成的基础上，进一步在决策树的训练过程中引入了属性的随机选择。

假设样本包含$d$个属性对基决策树的每个节点，先从该节点的属性结合中随机选择包含$k(k\le d)$个属性的子集用来进行最优划分。

随机森林(Random Forest)是Bagging的一个扩展变体，在以决策树为基学习器构建Bagging集成的基础上，进一步在决策树的训练过程中引入了属性的随机选择。

假设样本包含$d$个属性对基决策树的每个节点，先从该节点的属性结合中随机选择包含$k(k\le d)$个属性的子集用来进行最优划分。

随机森林训练效率通常由于Bagging，因为每个节点的划分只需要部分属性参与，而随机森林的泛化误差通常低于Bagging，因为属性的扰动为每个基决策树提供了更高的鲁棒性（不易过拟合到训练集上）。