集成学习入门与实战

1. 什么是集成学习

集成学习(ensemble learning)是现在非常火爆的机器学习方法。它本身不是一个单独的机器学习算法，而是通过构建并结合多个机器学习器来完成学习任务。也就是我们常说的“博采众长”。集成学习可以用于分问题集成回归问题集成，特征选取集成，异常点检测集成等等，可以说所有的机器学习领域都可以看到集成学习的身影。

集成学习思维导图图下所示：

2.基本思想

对于训练集数据，我们通过训练若干个个体学习器，通过一定的结合策略，就可以最终形成一个强学习器，以达到博采众长的目的。集成学习有两个主要的问题需要解决：

• 如何得到若干个个体学习器；
• 如何选择一种结合策略，将这些个体学习器集合成一个强学习器
  

集成学习是使用一系列学习器进行学习，并使用某种规则把各个学习结果进行整合从而获得比单个学习器更好的学习效果的一种机器学习方法。

通过图例进行简单的分析集成学习过程：

• 原始数据
  
• 个体学习器
  不同学习器所选择分割线不同，最终的结果也具有差异性
  
• 将多个单学习器进行组合

• 如果把单个分类器比作一个决策者的话，集成学习的方法就相当于多个决策者共同进行一项决，组合后得到的结果为理想划分界限。
  

对多个分类器的分类结果进行某种组合来决定最终的分类，以取得比单个分类器更好的性能。

在概率近似正确(PAC)学习的框架中，一个概念（一个类），如果存在一个多项式的学习算法能够学习它。

• 如果正确率很高，那么就称这个概念是强可学习(stronglylearnable)的。
• 如果正确率不高，仅仅比随即猜测略好，那么就称这个概念是弱可学习(weakly learnable)的。
  后来证明强可学习与弱可学习是等价的

3.集成学习解决的问题

如上图所示，我们结合多种策略，使得分类效果较好，但是我们如何进行策略具有如下几个问题：

1. 弱分类器之间是怎样的关系？
2. 组合时，如何选择学习器？
3. 怎样组合弱分类器？

问题一：弱分类器之间是怎样的关系？

个体学习器有两种选择：

• 第一种就是所有的个体学习器都是一个种类的或者说是同质的。比如都是决策树个体学习器或者都是神经网络个体学习器
• 第二种是所有的个体学习器不全是一个种类的或者说是导质的。比如我们有一个分类问题对训练集采用支持向量机个体学习器，逻辑回归个体学习器和朴素贝叶斯个体学习器来学习再通过某种结合策略来确定最终的分类强学习器

目前而言，同质个体学习器应用最广泛，一般我们常说的集成学习的方法都是指的同质个体学习器。而同质个体学习器使用最多的模型是CART决策树和神经网络。

同质个体学习器按照个体学习器之间是否存在依赖关系可以分为两类：

• 第一是个体学习器之间存在强依赖关系，一系列个体学习器基本都需要串行生成，代表算法是boosting系列算法。
• 第二个是个体学习器之间不存在强依赖关系，一系列个体学习器可以并行生成，代表算法是bagging和随机森林(RandomForest)系列算法。

问题二：组合时，如何选择学习器？

考虑准确性和多样性

• 准确性指的是个体学习器不能太差，要有一定的准确度；
• 多样性则是个体学习器之间的输出要具有差异性

考虑一个简单的例子：在二分类任务中，假定三个分类器在三个测试样本上的表现如图所示，其中 \sqrt{ } ​ 表示分类正确，$\times$ 表示分类错误，集成学习的结果通过投票法产生, 即 “少数服从多数” 。在图(a) 中，每个分类器都只有 $66.6\%$ 的精度，但集成学习却达到了 $100\%$；在图 (b)中，三个分类器没有差别，集成之后性能没有提高；在图©中，每个分类器的精度都只有 $33.3\%$，集成学习的结果变得更糟。这个简单的例子显示出：要获得好的集成，个体学习器应 “好而不同” ，即个体学习器要有一定的 “准确性”，即学习器不能太坏，并且要有 “多样性”，即学习器间具有差异。

问题三：怎样组合弱分类器？
常见的组合策略：

1. 平均法
2. 投票法
3. 学习法

(1) 平均法对于数值类的回归预测问题
思想：对于若干个弱学习器的输出进行平均得到最终的预测输出。

• 简单平均法 $H(x)=\frac{1}{T}{\sum }_{i=1}^T{h}_i(x)$
• 加权平均法 $H(x)={\sum }_{i=1}^T{w}_i{h}_i(x)$
  其中 $w_i$ 是个体学习器$h_i$的权重，通常有 $w_i\ge 0,{\sum }_{i=1}^T{w}_i=1$

(2)投票法对于分类问题的预测
思想：多个基本分类器都进行分类预测，然后根据分类结果用某种投票的原则进行投票表决，按照投票原则使用不同投票法。

一票否决、一致表决、少数服少多数

阈值表决：首先统计出把实例$x$划分为$C_i$和不划分为$C_i$的分类器数目分别是多少，然后当这两者比例超过某个阈值的时候把$x$划分到$C_i$。

(3)学习法（代表方法是Stacking）
之前的方法都是对弱学习器的结果做平均或者投票，相对比较简单，但是可能学习误差较大。

思想：不是对弱学习器的结果做简单的逻辑处理，而是再加上一层学习器，分为2层。
第一层是用不同的算法形成T个弱分类器，同时产生一个与原数据集大小相同的新数据集，利用这个新数据集和一个新算法构成第二层的分类器。

主要学习方法：
根据个体学习器的生成方式，目前的集成学习方法大致可分为两类：

• Boosting：个体学习器间存在强依赖关系，必须串行生成的序列化方法；
  串行：下一个分类器只在前一个分类器预测不够准的实例上进行训练或检验。
• Bagging:个体学习器间不存在强依赖关系，可同时生成的并行化方法；
  并行：所有的弱分类器都给出各自的预测结果，通过组合把这些预测结果转化为最终结果。

4.相关算法

4.1 Boosting

Boosting是一簇可将弱学习器提升为强学习器的算法。其工作机制为：先从初始训练集训练出一个基学习器，再根据基学习器的表现对样本分布进行调整，使得先前的基学习器做错的训练样本在后续收到更多的关注，然后基于调整后的样本分布来训练下一个基学习器；如此重复进行，直至基学习器数目达到实现指定的值T，或整个集成结果达到退出条件，然后将这些学习器进行加权结合。

4.1.1 AdaBoost算法思想

Adaboost 算法采用调整样本权重的方式来对样本分布进行调整，即提高前一轮个体学习器错误分类的样本的权重，而降低那些正确分类的样本的权重，这样就能使得错误分类的样本可以受到更多的关注，从而在下一轮中可以正确分类，使得分类问题被一系列的弱分类器“分而治之”。对于组合方式，AdaBoost采用加权多数表决的方法，具体地，加大分类误差率小的若分类器的权值，减小分类误差率大的若分类器的权值，从而调整他们在表决中的作用。

4.1.2 AdaBoost算法流程

输入: 训练数据集 $T=\left\{\left(x_1,y_1\right),\left(x_2,y_2\right),\left(x_3,y_3\right),\dots \left(x_n,y_n\right)\right\}$ ，其中 $x_i\in X\subseteq R^n,y_i\in Y=\{-1,+1\}$ ，$Y=\{-1,+1\}$ 是弱分类算法。

输出: 最终分类器 $G_m(x)$

初始化: 假定第一次训练时，样本均匀分布权值一样。
$$D_1=\left(w_{11},w_{12},w_{13}\dots \dots w_{1n}\right)$$
其中 $w_{1i}=\frac{1}{n},i=1,2,3\dots n$
循环: $m=1,2,3\dots \mathrm{M}$

（a）使用具有权值分布 $D_m$ 的训练数据集学习，得到基本分类器 $G_m$ (选取让误差率最低的阈值来设计基本分类器)：
$$G_m(x):\chi \to \{-1,+1\}$$
（b）计算 $G_m(x)$ 在训练集上的分类误差率 $e_m$
$$e_m=P\left(G_m\left(x_i\right)\ne y_i\right)=\sum _{i=1}^n{w}_{mi}I\left(G_m\left(x_i\right)\ne y_i\right)$$
$I\left(G_m\left(x_i\right)\ne y_i\right)$ : 当 $G_m\left(x_i\right)$ 与 $y_i$ 相等时，函数取值为 0 ；当 $G_m\left(x_i\right)$ 与 $y_i$ 不相等时，取值为 1 ；
由上述式子可知， $G_m(x)$ 在训练数据集上的误差率 $e_m$ 就是被 $G_m(x)$ 误分类样本的权值之和。
（c）计算 $G_m(x)$ 的系数 ${\alpha }_m，{\alpha }_m$ 表示 $G_m(x)$ 在最终分类器中的重要程度:
$${\alpha }_m=\frac{1}{2}\ln \frac{1-e_m}{e_m}$$
【注】显然 $e_m<=1/2$ 时， ${\alpha }_m>=0$ ，且 ${\alpha }_m$ 随着 $e_m$ 的减小而增大，意味着分类误差率越小的基本分类器在最终分类器中的作用越大
此时分类器为: $f_m(x)={\alpha }_m{G}_m(x)$
（d）更新训练数据集的权值分布，用于下一轮迭代。
$$\begin{array}{c}{D}_{m+1}=\left(w_{m+1,1},w_{m+1,2},w_{m+1,3},\dots w_{m+1,n}\right)\\ w_{m+1,i}=\frac{w_{mi}}{Z_m}\exp \left(-y_i{\alpha }_m{G}_m\left(x_i\right)\right),i=1,2,3,\dots n\end{array}$$
其中 $Z_m$ 是规范化因子，使得 $D_{m+1}$ 成为一个概率分布。
$$Z_m=\sum _{i=1}^n{w}_{mi}{e}^{\left(-y_i{\alpha }_m{G}_m\left(x_i\right)\right)}$$
循环结束条件:
$e_m$ 小于某个阈值 (一般是 $0.5)$ ，或是达到最大迭代次数。
AdaBoost 方法中使用的分类器可能很弱 (比如出现很大错误率)，但只要它的分类效果比随机好一点 (比如两类问题分类错吴率略小于 $0.5$ )，就能够改善最终得到的模型。
组合分类器:
$$f(x)=\sum _{m=1}^M{\alpha }_m{G}_m(x)$$
最终分类器($Y\{+1,-1\}$)：
$$G_m(x)=\mathrm{sign}(f(x))=\mathrm{sign}\left(\sum _{i=1}^M{\alpha }_m{G}_m(x)\right)$$
其中：
$$\sum _{i=1}^N{u}_{mi}=1$$
$$w_{m+1,i}=\{\begin{array}{c}\frac{w_{mi}}{Z_m}{e}^{-{\alpha }_m},G_m(x_i)=y_i\\ \frac{w_{mi}}{Z_m}{e}^{{\alpha }_m},G_m(x_i)\ne y_i\end{array}$$

4.1.3 示例

假定给出下列训练样本

初始化：$w_{1i}=\frac{1}{n}=0.1,n=10$（样本个数）

序号	i	1	2	3	4	5	6	7	8	9	10
数据	x	0	1	2	3	4	5	6	7	8	9
类别标签	y	1	1	1	-1	-1	-1	1	1	1	-1
初始权值	$w_{1i}$	0.1	0.1	0.1	0.1	0.1	0.1	0.1	0.1	0.1	0.1

阈值猜测：观察数据，可以发现数据分为两类：-1和1，其中数据“0,1,2”对应“1”类，数据“3,4,5”对应“-1”类，数据“6,7,8”对应“1”类，数据“9”对应“"1”类。抛开单个的数据“9”，可以找到对应的数据分界点（即可能的阈值），比如：2.5、5.5、8.5（一般0.5的往上加，也可以是其他数）。然后计算每个点的误差率，选最小的那个作为阈值。
但在实际操作中，可以每个数据点都做为阈值，然后就算误差率，保留误差率最小的那个值。若误差率有大于0.5的就取反（分类换一下，若大于取1，取反后就小于取1），再计算误差率。

迭代过程 $1:m=1$

1. 确定阈值的取值及误差率

• 当阈值取 $2.5$ 时，误差率为 $0.3$ 。即 $x<2.5$ 时取 $1，x>2.5$ 时取 $-1$ ，则数据6、7、8分错，误差率为 $0.3$ (简单理解: 10 个里面 3 个错的，真正误差率计算看下面的表格 )
• 当阈值取 $5.5$ 时，误差率最低为 $0.4$ 。即 $x<5.5$ 时取 $1，x>5.5$ 时取 $-1$ ，则数据3、4、5、6、7、8分错，错误率为 $0.6>0.5$ ，故反过来，令 $x>5.5$ 取 1 ， $x<5.5$ 时取 $-1$ ， 则数据0、1、2、9分错，误差率为 $0.4$
• 当阈值取 $8.5$ 时，误差率为 $0.3$ 。即 $x<8.5$ 时取 $1,x>8.5$ 时取 $-1$ ，则数据3、4、5分错，错误率为 $0.3$
  由上面可知，阈值取 $2.5$ 或8.5时，误差率一样，所以可以任选一个作为基本分类器。这里选2.5为例。
  $$G_1(x)=\{\begin{array}{ll}1,& x<2.5\\ -1,& x>2.5\end{array}$$

计算误差率:

序号	i	1	2	3	4	5	6	7	8	9	10
数据	x	0	1	2	3	4	5	6	7	8	9
类别标签	y	1	1	1	-1	-1	-1	1	1	1	-1
分类器结果	$G_1(x)$	1	1	1	-1	-1	-1	-1	-1	-1	-1
分类结果		对	对	对	对	对	对	错	`错	错	对

从上可得$G_1(x)$在训练数据集上的误差率（被分错类的样本的权值之和）:
$$e_1=P(G_1(x_i)\ne y_i)=\sum _{G_1(x_i)\ne y_i}{w}_{1i}=0.1+0.1+0.1=0.3$$

2. 计算 $G_1(x)$ 的系数:
   $${\alpha }_1=\frac{1}{2}\ln \frac{1-e_1}{e_1}=\frac{1}{2}\ln \frac{1-0.3}{0.3}\approx 0.42365$$
   这个 ${\alpha }_1$ 代表 $G_1(x)$ 在最终的分类函数中所占的比重约为 $0.42365$

3. 分类函数
   $$f_1(x)={\alpha }_1{G}_1(x)=0.42365G_1(x)$$

4. 更新权值分布:
   $$\begin{array}{rl}{Z}_1=& \sum _{i=1}^n{w}_{1i}\exp \left(-y_i{\alpha }_1{G}_1\left(x_i\right)\right)\\ =& \sum _{i=1}^{3}0.1\times \exp (-[1\times 0.4263\times 1])\\ & +\sum _{i=4}^{4-6,10}0.1\times \exp (-[(-1)\times 0.4263\times (-1)])\\ & +\sum _{i=7}^{9}0.1\times \exp (-[1\times 0.4263\times (-1)])\\ \approx & 0.3928+0.4582+0.0655=0.9165\\ & w_{2i}=\frac{w_{1i}}{Z_1}\exp \left(-y_i{\alpha }_1{G}_1\left(x_i\right)\right)=\{\begin{array}{ll}\frac{0.1}{0.9165}\exp (-[1\times 0.4236\times 1]),& i=1,2,3\\ \frac{0.1}{0.9165}\exp (-[(-1)\times 0.4236\times (-1)]),& i=4,5,6,10\\ \frac{0.1}{0.9165}\exp (-[1\times 0.4236\times (-1)]),& i=7,8,9\end{array}\\ \approx & \{\begin{array}{l}0.07143i=1,2,3\\ 0.07143i=4,5,6,10\\ 0.16666i=7,8,9\end{array}\end{array}$$

权值更新表：

序号	i	1	2	3	4	5	6	7	8	9	10
数据	x	0	1	2	3	4	5	6	7	8	9
类别标签	y	1	1	1	-1	-1	-1	1	1	1	-1
初始权值1	$w_{1i}$	0.1	0.1	0.1	0.1	0.1	0.1	0.1	0.1	0.1	0.1
更新权值2	$w_{2i}$	0.07143	0.07143	0.07143	0.07143	0.07143	0.07143	0.16666	0.16666	0.16666	0.07143

由上面可以看出，因为数据“6,7,8”被$G_1(x)$分错了，所以它们的权值由初始的0.1增大到了0.16666；其他的数据由于被分对了，所以权值由0.1减小到0.07143。

迭代过程2: $m=2$

1. 确定阈值的取值及误差率

• 当阈值取2.5时，误差率为 $0.49998$ 。即 $x<2.5$ 时取 $1，x>2.5$ 时取 $-1$ ，则数据6、7、8分错，误差率为 $0.16666^{\star }3$ (取过，不列入考虑范围)
• 当阈值取 $5.5$ 时，误差率最低为 $0.28572$ 。即 $x<5.5$ 时取 $1，x>5.5$ 时取 $-1$ ，则数据3、4、5、6、7、8分错，错误率为 $0.07143^{\ast }3+0.16666^{\star }3=0.71427>0.5$ ，故反过来，令 $x>5.5$ 取 $1，x<5.5$ 时取 $-1$ ，则数据0、1、2、9分错，误差率为 $0.07143^{\star }4=0.28572$
• 当阈值取8.5时，误差率为 $0.21429$ 。即 $x<8.5$ 时取 1 ， $x>8.5$ 时取 $-1$ ，则数据3、4、 5 、9分错，错吴率为 $0.07143^{\ast }3=0.21429$
  由上面可知，阈值取 $8.5$ 时，误差率最小，所以:
  $$G_2(x)=\{\begin{array}{ll}1,& x<8.5\\ -1,& x>8.5\end{array}$$

计算误差率:

序号	i	1	2	3	4	5	6	7	8	9	10
数据	x	0	1	2	3	4	5	6	7	8	9
类别标签	y	1	1	1	-1	-1	-1	1	1	1	-1
初始权值2	$w_{2i}$	0.07143	0.07143	0.07143	0.07143	0.07143	0.07143	0.16666	0.16666	0.16666	0.07143
分类器结果	$G_2(x)$	1	1	1	1	1	1	1	1	1	-1
分类结果		对	对	对	错	错	错	对	对	对	对

从上可得 $G_2(x)$ 在训练数据集上的误差率（被分错类的样本的权值之和）:
$$e_2=P\left(G_2\left(x_i\right)\ne y_i\right)=\sum _{G_2\left(x_i\right)\ne y_i}{w}_{2i}=0.07143+0.07143+0.07143=0.21429$$

2. 计算 $G_2(x)$ 的系数:
   $${\alpha }_2=\frac{1}{2}\ln \frac{1-e_2}{e_2}=\frac{1}{2}\ln \frac{1-0.21429}{0.21429}\approx 0.64963$$
   这个 ${\alpha }_2$ 代表 $G_2(x)$ 在最终的分类函数中所占的比重约为 $0.649263$
3. 分类函数
   $$f_2(x)={\alpha }_2{G}_2(x)=0.64963G_2(x)$$
4. 更新权值分布:
   $$\begin{array}{rl}{Z}_2=& \sum _{i=1}^n{w}_{2i}\exp \left(-y_i{\alpha }_2{G}_2\left(x_i\right)\right)\\ =& \sum _{i=1}^{3}0.07143\times \exp (-[1\times 0.64963\times 1])\\ & +\sum _{i=4}^{6}0.07143\times \exp (-[(-1)\times 0.64963\times 1])\\ & +\sum _{i=7}^{9}0.16666\times \exp (-[1\times 0.64963\times 1])\\ & +\sum _{i=10}^{10}0.07143\times \exp (-[(-1)\times 0.64963\times (-1)])\\ \approx & 0.11191+0.41033+0.26111+0.03730\\ =& 0.82065\end{array}$$
   $$\begin{array}{rl}{w}_{3i}& =\frac{w_{2i}}{Z_2}\exp \left(-y_i{\alpha }_2{G}_2(x)\right)\\ & =\{\begin{array}{ll}\frac{0.07143}{0.82065}\exp (-[1\times 0.64963\times 1])\approx 0.04546,& i=1,2,3\\ \frac{0.07143}{0.82065}\exp (-[(-1)\times 0.64963\times 1])\approx 0.16667,& i=4,5,6\\ \frac{0.16666}{0.82065}\exp (-[1\times 0.64963\times 1])\approx 0.10606,& i=7,8,9\\ \frac{0.07143}{0.82065}\exp (-[(-1)\times 0.64963\times (-1)])\approx 0.04546,& i=10\end{array}\end{array}$$

权值更新表：

序号	i	1	2	3	4	5	6	7	8	9	10
数据	x	0	1	2	3	4	5	6	7	8	9
类别标签	y	1	1	1	-1	-1	-1	1	1	1	-1
初始权值1	$w_{1i}$	0.1	0.1	0.1	0.1	0.1	0.1	0.1	0.1	0.1	0.1
更新权值2	$w_{2i}$	0.07143	0.07143	0.07143	0.07143	0.07143	0.07143	0.16666	0.16666	0.16666	0.07143
更新权值3	$w_{3i}$	0.04546	0.04546	0.04546	0.16667	0.16667	0.16667	0.10606	0.10606	0.10606	0.04546

迭代过程 $3:m=3$

1. 确定阈值的取值及误差率

• 当阈值取 $2.5$ 时，误差率为 $0.31818$ 。 即 $x<2.5$ 时取 $1，x>2.5$ 时取 $-1$ ，则数据6、7、 8分错，误差率为 $0.10606^{\ast }3=0.31818$ (取过，不列入考虑范围)
• 当阈值取 $5.5$ 时，误差率最低为 $0.18184$ 。即 $x<5.5$ 时取 1 ， $x>5.5$ 时取 $-1$ ，则数据3、4、5、6、7、8分错，错娱率为 $0.16667\ast 3+0.10606^{\ast }3=0.81819>0.5$ ，故反过 来，令 $x>5.5$ 取 $1，x<5.5$ 时取 $-1$ ，则数据 $0、1、2、9$ 分错，误差率为 $0.04546^{\ast }4=0.18184$
• 当阈值取8.5时，误差率为 $0.13638$ 。即 $x<8.5$ 时取 $1，x>8.5$ 时取 $-1$ ，则数据3、4、5分错，铂误率为 $0.04546^{\ast }3=0.13638$ (取过，不列入考虑范围)
  由上面可知，阈值取8.5时，误差率最小，但 $8.5$ 取过了，所以取 $5.5$ :
  $$G_3(x)=\{\begin{array}{ll}-1,& x<5.5\\ 1,& x>5.5\end{array}$$

计算误差率:

序号	i	1	2	3	4	5	6	7	8	9	10
数据	x	0	1	2	3	4	5	6	7	8	9
类别标签	y	1	1	1	-1	-1	-1	1	1	1	-1
权值3	$w_{3i}$	0.04546	0.04546	0.04546	0.16667	0.16667	0.16667	0.10606	0.10606	0.10606	0.04546
分类器结果	$G_3(x)$	-1	-1	-1	-1	-1	-1	1	1	1	1
分类结果		错	错	错	对	对	对	对	对	对	错

从上可得 $G_3(x)$ 在训练数据集上的误差率（被分错类的样本的权值之和）：
$$e_3=P\left(G_3\left(x_i\right)\ne y_i\right)=\sum _{G_3\left(x_i\right)\ne y_i}{w}_{3i}=0.04546+0.04546+0.04546+04546=0.18184$$

2. 计算 $G_3(x)$ 的系数：
   $${\alpha }_3=\frac{1}{2}\ln \frac{1-e_3}{e_3}=\frac{1}{2}\ln \frac{1-0.18188}{0.18184}\approx 0.75197$$
   这个 ${\alpha }_3$ 代表 $G_3(x)$ 在最终的分类函数中所占的比重约为 $0.75197$
3. 分类函数
   $$f_3(x)={\alpha }_3{G}_3(x)=0.75197G_3(x)$$
4. 更新权值分布:
   $$\begin{array}{rl}{Z}_3& =\sum _{i=1}^n{w}_{3i}\exp \left(-y_i{\alpha }_3{G}_3\left(x_i\right)\right)=\sum _{i=1}^{3}0.04546\times \exp (-[1\times 0.75197\times (-1)])\\ & +\sum _{i=4}^{6}0.16667\times \exp (-[(-1)\times 0.75197\times (-1)])\\ & +\sum _{i=7}^{9}0.10606\times \exp (-[1\times 0.75197\times 1])\\ & +\sum _{i=10}^{10}0.04546\times \exp (-[(-1)\times 0.75197\times 1])\\ & \approx 0.28929+0.23572+0.15000+0.09643\\ & =0.77144\end{array}$$
   $$w_{4i}=\frac{w_{3i}}{Z_3}\exp \left(-y_i{\alpha }_3{G}_3(x)\right)=\{\begin{array}{ll}\frac{0.04546}{0.77144}\exp (-[1\times 0.75197\times (-1)])\approx 0.12500,& i=1,2,3\\ \frac{0.16667}{0.77144}\exp (-[(-1)\times 0.75197\times (-1)])\approx 0.10185,& i=4,5,6\\ \frac{0.10606}{0.77144}\exp (-[1\times 0.75197\times 1])\approx 0.06481,& i=7,8,9\\ \frac{0.04546}{0.77144}\exp (-[(-1)\times 0.75197\times 1])\approx 0.12500,& i=10\end{array}$$

权值更新表

序号	i	1	2	3	4	5	6	7	8	9	10
数据	x	0	1	2	3	4	5	6	7	8	9
类别标签	y	1	1	1	-1	-1	-1	1	1	1	-1
初始权值1	$w_{1i}$	0.1	0.1	0.1	0.1	0.1	0.1	0.1	0.1	0.1	0.1
更新权值2	$w_{2i}$	0.07143	0.07143	0.07143	0.07143	0.07143	0.07143	0.16666	0.16666	0.16666	0.07143
更新权值3	$w_{3i}$	0.04546	0.04546	0.04546	0.16667	0.16667	0.16667	0.10606	0.10606	0.10606	0.04546
更新权值4	$w_{4i}$	0.125	0.125	0.125	0.10185	0.10185	0.10185	0.06481	0.06481	0.06481	0.125

迭代过程4：m=4

此时观察数据，每次迭代被分错的数据都已经重新分配过权值，按其他参考资料来说，此时的误差率为0，所以迭代可以到此结束。

最终分类器：

$$G_m(x)=sign(0.42365G_1(x)+0.64963G_2(x)+0.75197G_3(x))$$

4.2 提升树（Boosting Tree）

xxx后续更新

4.3 梯度提升树(GBDT)

xxx单独更新

4.4 Bagging与随机森林

xxx单独更新

5. 偏差-方差分解的角度分析Boosting和Bagging

偏差(bias)：述的是预测值的期望与真实值之间的差距。偏差越大，越偏离真实数据，如下图第二行所示。
方差(variance):描述的是预测值的变化范围，离散程度，也就是离其期望值的距离。方差越大，数据的分布越分散：如下图右列所示。

1. Boosting主要关注降低偏差
   偏差刻画了学习算法本身的拟合能力
   Boosting思想，对判断错误的样本不停的加大权重，为了更好地拟合当前数据，所以降低了偏差，因此Boosting能基于泛化性能相当弱的学习器构建出很强的集成。Boosting是把许多弱的分类器组合成一个强的分类器。
2. Bagging主要是降低方差
   度量了同样大小的数据集的变动所导致的学习性能的变化。刻画了数据扰动所造成的影响。
   Bagging思想，随机选择部分样本来训练处理不同的模型，再综合来减小防方差，因此它在不剪枝决策树、神经网络等易受样本扰动的学习器上效果更明显。Bagging是对许多强（甚至过强）的分类器求平均。