【机器学习】集成学习算法之AdaBoost

基本步骤

首先，是初始化训练数据的权值分布 $D_1$。假设有 $m$ 个训练样本数据，则每一个训练样本最开始时，都被赋予相同的权值：$w_1=\frac{1}{m}$，这样训练样本集的初始权值分布 $D_1(i)$：
$$D_1(i)=w_1=(w_{11},\cdots ,w_{1m})=(\frac{1}{m},\cdots ,\frac{1}{m})$$

进行迭代 $t=1,\cdots ,T$；

选取一个当前误差最低的弱分类器 $h_t$ 作为第 $t$ 个基本分类器，并计算弱分类器 $h_t:X\to \{-1,1\}$，该弱分类器在分布 $D_t$ 上的分类错误率为：
$${ϵ}_t=P(h_t(x_i)\ne y_i)=\sum _{i=t}^n{w}_{ti}I(h_t(x_i)\ne y_i)$$ 其中，
$$I(h_t(x_i)\ne y_i)=\{\begin{array}{ll}1& h_t(x_i)\ne y_i\\ & \\ 0& h_t(x_i)=y_i\end{array}$$​分类错误率应满足 $0<ϵ<0.5$ ，

​第 $t$ 个弱分类器 $h_t$ 的权重系数为：
$${\alpha }_t=\frac{1}{2}log\left(\frac{1-{ϵ}_t}{{ϵ}_t}\right)$$
​并求出新权重 $w_{t+1}=(w_{t+1,1},\cdots ,w_{t+1,m})$，其中：
$$w_{t+1,i}=w_{ti}{e}^{-{\alpha }_t{y}_i{h}_t(x_i)}=\{\begin{array}{ll}{w}_{ti}{e}^{{\alpha }_t}& h_t(x_i)\ne y_i\\ & \\ w_{ti}{e}^{-{\alpha }_t}& h_t(x_i)=y_i\end{array}$$
对新权重进行归一化处理，其中 $Z_t$ 为归一化常数，得出训练样本的权重分布 $D_{t+1}$ 为：

$$D_{t+1}=\frac{w_{t+1}}{Z_t}$$ 简化上述过程公式为：
$$\begin{array}{rl}{D}_{t+1}& =\frac{D_t}{Z_t}\times \{\begin{array}{ll}{e}^{-{\alpha }_t}& h_t(x_i)\ne y_i\\ & \\ e^{{\alpha }_t}& h_t(x_i)=y_i\end{array}\\ & \\ & =\frac{D_t{e}^{-{\alpha }_{t}y{h}_t(x)}}{Z_t}\end{array}$$

最后是集合策略。Adaboost分类采用的是加权表决法，构建基本分类器的线性组合：
$$f(x)=\sum _{t=1}^T{\alpha }_t{h}_t(x)$$
通过符号函数 sign 的作用，得到一个最终的强分类器为：
$$H(x)=sign(f(x))=sign(\sum _{t=1}^T{\alpha }_t{h}_t(x))$$

示例

考虑一个分类数据集

序号	$X_1$	$X_2$	$Y$
1	0	0	1
2	0.5	0.9	1
3	1	1.2	-1
4	1.2	0.7	-1
5	1.4	0.6	1
6	1.6	0.2	-1
7	1.7	0.4	1
8	2	0	1
9	2.2	0.1	-1
10	2.5	1	-1

生成第 1 棵决策树

(随机) 选择条件 $x_2\le 0.65$ 生成第 1 棵决策树

在分布 $D_1=(0.1,\cdot \cdot \cdot ,0.1{)}^T$ 下，计算分类错误率 $ϵ=0.3$，求出权重系数 ${\alpha }_1$：
$${\alpha }_1=\frac{1}{2}log\left(\frac{1-ϵ}{ϵ}\right)=0.184$$

再求出新权重 $w_2=(w_{2,1},\cdots ,w_{2,10})$，其中：
$$w_{2,i}=\{\begin{array}{ll}{w}_{1i}{e}^{{\alpha }_1}& ify\ne \hat{y}\\ & \\ w_{1i}{e}^{-{\alpha }_1}& ify=\hat{y}\end{array}$$
对求得的新权重进行归一化求出权重分布 $D_2$：

$X_1$	$X_2$	$Y$	$\hat{Y}$	$D_1$	$w_2$	$D_2$
0	0	1	1	0.1	0.083	0.088
0.5	0.9	1	-1	0.1	0.12	0.128
1	1.2	-1	-1	0.1	0.083	0.088
1.2	0.7	-1	-1	0.1	0.083	0.088
1.4	0.6	1	1	0.1	0.083	0.088
1.6	0.2	-1	1	0.1	0.12	0.128
1.7	0.4	1	1	0.1	0.083	0.088
2	0	1	1	0.1	0.083	0.088
2.2	0.1	-1	1	0.1	0.12	0.128
2.5	1	-1	-1	0.1	0.083	0.088

生产第 2 棵决策树

随机选择条件 $x_1\le 1.5$ 生成第 2 棵决策树

在分布 $D_2=(0.088,0.128,\cdot \cdot \cdot ,0.088{)}^T$ 下，计算分类错误率 $ϵ=0.352$，求出权重系数 ${\alpha }_2$：
$${\alpha }_2=\frac{1}{2}log\left(\frac{1-ϵ}{ϵ}\right)=0.133$$

再求出新权重 $w_3$，对 $w_3$ 进行归一化求出权重分布 $D_3$：

$X_1$	$X_2$	$Y$	$\hat{Y}$	$D_2$	$w_3$	$D_3$
0	0	1	1	0.088	0.077	0.079
0.5	0.9	1	1	0.128	0.112	0.115
1	1.2	-1	1	0.088	0.101	0.104
1.2	0.7	-1	1	0.088	0.101	0.104
1.4	0.6	1	1	0.088	0.077	0.079
1.6	0.2	-1	-1	0.128	0.112	0.115
1.7	0.4	1	-1	0.088	0.101	0.104
2	0	1	-1	0.088	0.101	0.104
2.2	0.1	-1	-1	0.128	0.112	0.115
2.5	1	-1	1	0.088	0.077	0.079

生成第 T 棵决策树

如此循环下去生成 $T$ 棵决策树。

加权投票

通过加权投票的方式得到集成分类器：
$$\begin{array}{rl}F(x)& ={\alpha }_{1}Tre{e}_1+{\alpha }_{2}Tre{e}_2+\cdots +{\alpha }_{t}Tre{e}_t\\ & \\ & =0.184I(X_2\le 0.65)+0.133I(X_1\le 1.5)+\cdots +{\alpha }_{t}Tre{e}_t\end{array}$$

sklearn 实现

import numpy as np
import matplotlib.pyplot as plt
from sklearn.tree import DecisionTreeRegressor
from sklearn.ensemble import AdaBoostRegressor

# Create the dataset
X = np.array([[0, 0], [0.5, 0.9], [1, 1.2], [1.2, 0.7], [1.4, 0.6], [1.6, 0.2], [1.7, 0.4], [2, 0], [2.2, 0.1], [2.5, 1]])
y = np.array([1, 1, -1, -1, 1, -1, 1, 1, -1, -1])

# Fit the classifier
regr_1 = DecisionTreeRegressor(max_depth=3)
regr_2 = AdaBoostRegressor(regr_1, n_estimators=10, random_state=20)

regr_1.fit(X, y)
regr_2.fit(X, y)

# Score
core_1 = regr_1.score(X, y)
core_2 = regr_2.score(X, y)

print("Decision Tree score : %f" % core_1)
print("AdaBoost score : %f" % core_2)

# Predict
y_1 = regr_1.predict(X)
y_2 = regr_2.predict(X)

# Plot the results
x = range(10)
plt.figure()
plt.scatter(x, y, c="k", label="training samples")
plt.plot(x, y_1, c="g", label="n_estimators=1", linewidth=2)
plt.plot(x, y_2, c="r", label="n_estimators=20", linewidth=2)
plt.xlabel("data")
plt.ylabel("target")
plt.title("Boosted Decision Tree Regression")
plt.legend()
plt.show()

# output
Decision Tree score : 0.733333
AdaBoost score : 1.000000