数据挖掘十大经典算法学习之Adaboost自适应增强学习算法

定义

The strong and weak learnability are equivalent.

--Kearns and Valiant(1989)

强分类器和弱分类器是相同的，多个弱分类器组合可以达到强分类器的效果。通过迭代生成一列分类器，每个分类器都依赖于之前的一个，之前分类器错分的样本被赋予更高的权重。

训练数据集D为 {(x₁,y₁,w₁),( x₂,y₂,w₂),…,( x_n,y_n,w_n)}。x_i是输入向量，y_i是它的类别并且y_i∈Y（类别集合），w_i是样例的权重并且∑_Iw_i=1。

算法构造k个BaseLearner。每个训练样例的权重均被初始化为1/m。每次迭代中，数据集D_t和D相同，仅权重不同。每次迭代构造一个新的分类器h_t。

算法

AdaBoost算法的具体步骤如下：

1. 初始化样本权重为1/m，即为训练样本的初始权重分布；

3. 第一次迭代:

(1)训练样本的概率分布相当，训练弱分类器;

(2)计算弱分类器的错误率;

(3)选取合适阈值，使得误差最小；

(4)更新样本权重：减小弱分类器分类效果较好的数据的权重，增大弱分类器分类效果较差的数据的权重。

4. 经T次循环后，得到T个弱分类器，按更新的权重叠加，最终得到的强分类器。

AdaBoost(D,Y,BaseLearner,k)
Initialize Di(wi)=1/m;           //每个训练样例的权重被初始化为1/m
for t=1,.., k do              //k个分类器
ht=BaseLearner(Dt);          //构造新的分类器
et=∑Dt(wt)[ ht≠y];          //计算ht的错误率
if et＞0.5 then              //如果错误率大于抛硬币错误率
k=k-1;                   //移除该次迭代并且
exit-loop                 //退出该循环
else
  αt= 1/2ln(et/(1-et))        //放大，提高ht的权重
  Dt+1(wi)= Dt(wi)/Zt×exp(-αt)  if ft(Dt(wi))＝yi or   //正确分类，放大该样本权重
  Dt+1(wi)= Dt(wi)/Zt×exp(αt)   if ft(Dt(wi))≠yi     //错误分类，缩小该样本权重
  //即 Dt(wi) exp(-αtyiht(xi))/ Zt ，ht(xi)只有1与-1两个取值
endif
endfor
Output: H(x)=sign(∑t=1Tαtht(x))  

note: exp(t)=e^t

sign(t)大于0，取1；小于0，取-1。

注意：计算e_t的时候要加上训练样本的权重。Z_t为D_t(w_i)之和。D_t(w_i)/Z_t即是对权重进行归一化处理。

示例

例如，图-1所示二维空间数据点的数据集，包含4个实例。z_n是二维空间的坐标，y_n是类标（label）。

图-1

该数据集在二维空间如图-2所示。

图-2

构建8个弱分类器如图-3所示。

图-3

D₁(i)=1/m=1/4

t=1,使用h₁分类器进行分类。z₁分类正确，其它3个分类错误。e₁=0.75>0.5。break。

Z₁= D₁(1)+ D₁(2)+ D₁(3)+ D₁(4)=1/4+1/4+1/4+1/4=1

D₂(i)= D₁(i) =1/4

Z₂= Z₁= D₁(1)+ D₁(2)+ D₁(3)+ D₁(4)=1/4+1/4+1/4+1/4=1

t=2,使用h₂分类器进行分类。仅z₁分类错误。e₂=0.25<0.5,α₂= 1/2ln(e₂/(1-e₂))=1/2ln3≈0.55

//exp(-α_t)= exp(-1/2ln(e_t/(1-e_t))=1/((e_t/(1-e_t))^0.5

// exp(α_t) = exp(1/2ln(e_t/(1-e_t))=((e_t/(1-e_t))^0.5

// z₁被错误分类，权重增加

D₃(1)= D₂(1)/Z₂×exp(-α₂)=1/4*√3          //√3是根号3啊，真不好打出来

// z₂~z₄被正确分类，权重降低

D₃(2)= D₂(2)/Z₂×exp(α₂)=1/12*√3

D₃(3)= D₂(3)/Z₂×exp(α₂)=1/12*√3

D₃(4)= D₂(4)/Z₂×exp(α₂)=1/12*√3

Z₃= D₃(1)+ D₃(2)+ D₃(3)+ D₃(4)=1/4*√3+1/12*√3+1/12*√3+1/12*√3=1/2*√3

t=3,使用h₃分类器进行分类。仅z_z分类错误。e₃=1/12*√3 / (1/4*√3+1/12*√3+1/12*√3+1/12*√3)=1/6 < e₂

以此类推。

最终分类器H(x)=sign(∑_t=1^Tα_th_t(x))。

Acknowledgements&References：

部分材料采自于实验室杨T师兄的讲座，谢谢杨T师兄提供资料。

本文示例来自于周志华的《Ensemble Methods, Foundations and Algorithms》第二章Boosting，p28~30。

刘冰《Web数据挖掘》第三章监督学习，p84~85。