[基本功]Adaboost简介
基本概念
- 强可学习：在概率近似正确学习（PAC）的框架中，一个概念（类），如果存在一个多项式的算法能够学习它，并且正确率很高，则称这个概念是强可学习的。
- 弱可学习：一个概念（类），如果存在一个多项式学习算法能够学习它，学习的正确率仅比随即猜测略好，则称这个概念是弱可学习的。
- 在PAC学习的框架下，强可学习和弱可学习互为充分必要条件。
Adaboost算法（分类）
输入：训练数据集 T = ( x 1 , y 1 ) , ( x 2 , y 2 ) , . . . , ( x N , y N ) T={(x_1,y_1),(x_2,y_2),...,(x_N,y_N)} T=(x1,y1),(x2,y2),...,(xN,yN)，其中 x i ∈ X ⊆ R n , y i ∈ Y = + 1 , − 1 , i = 1 , 2 , . . . , N x_i \in X \subseteq R^n, y_i \in Y={+1,-1},i=1,2,...,N xi∈X⊆Rn,yi∈Y=+1,−1,i=1,2,...,N；弱学习算法。
输出：分类器G(x)
步骤：
-
初始化训练数据的权值分布
D 1 = ( w 11 , w 12 , . . . , w 1 N ) , w 1 i = 1 N , i = 1 , 2 , . . . , N D_1=(w_{11},w_{12},...,w_{1N}), w_{1i}=\frac{1}{N},i=1,2,...,N D1=(w11,w12,...,w1N),w1i=N1,i=1,2,...,N -
对 m = 1 , 2 , . . . , M m=1,2,...,M m=1,2,...,M
2.1 使用具有权值分布 D m D_m Dm的训练数据集学习，得到基本分类器
G m ( x ) : X → { − 1 , + 1 } G_m(x):X\rightarrow \{-1,+1\} Gm(x):X→{−1,+1}
2.2 计算 G m ( x ) G_m(x) Gm(x)在训练数据集上的分类误差率
e m = ∑ i = 1 N P ( G m ( x i ) ≠ y i ) = ∑ i = 1 N w m i I ( G m ( x i ) ≠ y i ) e_m=\sum_{i=1}^NP(G_m(x_i)\neq y_i)\\ =\sum_{i=1}^Nw_{mi}I(G_m(x_i)\neq y_i) em=i=1∑NP(Gm(xi)=yi)=i=1∑NwmiI(Gm(xi)=yi)
2.3 计算G_m(x)的系数
α m = 1 2 l o g 1 − e m e m \alpha_m=\frac12log\frac{1-e_m}{e_m} αm=21logem1−em
2.4 更新训练数据集的权值分布
D m + 1 = ( w m + 1 , 1 , . . . , w m + 1 , i , . . . , w m + 1 , N ) w m + 1 , i = w m i Z m e x p ( − α m y i G m ( x i ) ) , i = 1 , 2 , . . . , N D_{m+1}=(w_{m+1,1},...,w_{m+1,i},...,w_{m+1,N})\\ w_{m+1,i}=\frac{w_{mi}}{Z_m}exp(-\alpha_my_iG_m(x_i)),i=1,2,...,N Dm+1=(wm+1,1,...,wm+1,i,...,wm+1,N)wm+1,i=Zmwmiexp(−αmyiGm(xi)),i=1,2,...,N
其中， Z m Z_m Zm是规范化因子
Z m = ∑ i = 1 N w m i e x p ( − α m y i , G m ( x i ) ) Z_m=\sum_{i=1}^Nw_{mi}exp(-\alpha_my_i,G_m(x_i)) Zm=i=1∑Nwmiexp(−αmyi,Gm(xi)) -
构建基本分类器的线性组合，得到最终分类器
G ( x ) = s i g n ( f ( x ) ) = s i g n ( ∑ m = 1 M α m G m ( x ) ) G(x)=sign(f(x))=sign(\sum_{m=1}^M\alpha_mG_m(x)) G(x)=sign(f(x))=sign(m=1∑MαmGm(x))
Adaboost算法（回归）
-
初始化训练数据的权值分布
D 1 = ( w 11 , w 12 , . . . , w 1 N ) , w 1 i = 1 N , i = 1 , 2 , . . . , N D_1=(w_{11},w_{12},...,w_{1N}), w_{1i}=\frac{1}{N},i=1,2,...,N D1=(w11,w12,...,w1N),w1i=N1,i=1,2,...,N -
对 m = 1 , 2 , . . . , M m=1,2,...,M m=1,2,...,M
2.1 使用具有权值分布 D m D_m Dm的训练数据集学习，得到基本回归器 G m ( x ) G_m(x) Gm(x)
2.2 计算训练集上的最大误差
E m = m a x ∣ y i − G m ( x i ) ∣ i = 1 , 2 , . . . , N E_m=max|y_i-G_m(x_i)|\\ i=1,2,...,N Em=max∣yi−Gm(xi)∣i=1,2,...,N
2.3计算每个样本的相对误差
如 果 是 线 性 误 差 ， 则 e m i = ∣ y i − G m ( x i ) ∣ E m 如 果 是 平 方 误 差 ， 则 e m i = ( y i − G m ( x i ) ) 2 E m 2 如 果 是 指 数 误 差 ， 则 e m i = 1 − e x p ( − y i + G m ( x i ) E m ) 如果是线性误差，则e_{mi}=\frac{|y_i-G_m(x_i)|}{E_m}\\ 如果是平方误差，则e_{mi}=\frac{(y_i-G_m(x_i))^2}{E_m^2}\\ 如果是指数误差，则e_{mi}=1-exp(\frac{-y_i+G_m(x_i)}{E_m}) 如果是线性误差，则emi=Em∣yi−Gm(xi)∣如果是平方误差，则emi=Em2(yi−Gm(xi))2如果是指数误差，则emi=1−exp(Em−yi+Gm(xi))
2.4 计算回归误差率
e m = ∑ i = 1 N w m i e m i e_m=\sum_{i=1}^Nw_{mi}e_{mi} em=i=1∑Nwmiemi
2.5 计算弱学习器的系数
α m = e m 1 − e m \alpha_m=\frac{e_m}{1-e_m} αm=1−emem
2.6 更新样本集的权重分布为
w m + 1 , i = w m i Z m α m 1 − e m w_{m+1,i}=\frac{w_{mi}}{Z_m}\alpha_m^{1-e_m} wm+1,i=Zmwmiαm1−em
其中， Z m Z_m Zm是规范化因子
Z m = ∑ i = 1 N w m i α m 1 − e m i Z_m=\sum_{i=1}^Nw_{mi}\alpha_m^{1-e_{mi}} Zm=i=1∑Nwmiαm1−emi -
构建基本回归器的线性组合
f ( x ) = ∑ m = 1 M ( l n 1 α m ) g ( x ) f(x)=\sum_{m=1}^M(ln\frac{1}{\alpha_m})g(x) f(x)=m=1∑M(lnαm1)g(x)
其中，g(x)是所有 α m G ( x ) \alpha_m G(x) αmG(x)的中位数
优缺点
优点：
- Adaboost分类器分类精度很高
- 在Adaboost框架下，可以使用各种回归分类模型来构建弱学习器，非常灵活。（决策树、神经网络等）
- 不容易过拟合
- 作为简单的二元分类器时，构造简单，结果可理解
缺点：
对异常样本敏感，异常样本在迭代中可能获得较高权值，影响最终强学习器的预测准确性。