Adaboost模型学习

不知不觉已经很久没有更新文章了,因为疫情在家里呆了整整五个月,也玩了五个月,今天又捡起了原来的书《MATLAB神经网络43个案例分析》学习一下算法,今后也会抽空继续分享一下学习心得。

Adaboost强分类器模型

Adaboost强分类器通俗的讲就是多个弱分类器的一个组合,而所谓的弱分类器就是我们常常用的神经网络、KNN等模型。其工作步骤主要为:

1.首先给出弱学习算法和样本空间(x,y),从样本空间中找出m组训练数据,每组训练数据的权重都是1/m;

2.然后用弱学习算法迭代运算T次,每次运算后都按照分类结果就计算预测误差和,并更新训练样本的权重,其中分类错误的样本会被赋予较大的权重,以便下次迭代运算时更加关注这些训练个体。

3.弱分类器通过多次迭代得到分类函数序列f1,f2,f3....fT,并根据每次迭代得到的预测误差和求得分类函数的权重,分类结果越好的函数,其对应的权重也就越大。

因此,通过多个弱分类器分类结果与分类函数权重的加权,可以得到最终强分类器的分类结果。(注意:这里面有两个权重,一个是训练样本权重,一个是分类函数权重,一定要区分这两个概念。)

下面将《MATLAB神经网络43个案例分析》中Adaboost模型的具体步骤贴出,供大家参考:

Adaboost模型学习_第1张图片

下面是书中的代码,供大家学习:

%% 该代码为基于BP-Adaboost的强分类器分类
%
% 
% 
该案例作者申明:
1:本人长期驻扎在此板块里,对该案例提问,做到有问必答。本套书籍官方网站为:video.ourmatlab.com
2:点此从当当预定本书《Matlab神经网络30个案例分析》

3:此案例有配套的教学视频,视频下载方式video.ourmatlab.com/vbuy.html

4:此案例为原创案例,转载请注明出处(《Matlab神经网络30个案例分析》)。
5:若此案例碰巧与您的研究有关联,我们欢迎您提意见,要求等,我们考虑后可以加在案例里。
% %% 清空环境变量 clc clear %% 下载数据 load data input_train output_train input_test output_test %% 权重初始化 [mm,nn]=size(input_train); D(1,:)=ones(1,nn)/nn; %% 弱分类器分类 K=10; for i=1:K %训练样本归一化 [inputn,inputps]=mapminmax(input_train); [outputn,outputps]=mapminmax(output_train); error(i)=0; %BP神经网络构建 net=newff(inputn,outputn,6); net.trainParam.epochs=5; net.trainParam.lr=0.1; net.trainParam.goal=0.00004; %BP神经网络训练 net=train(net,inputn,outputn); %训练数据预测 an1=sim(net,inputn); test_simu1(i,:)=mapminmax('reverse',an1,outputps); %测试数据预测 inputn_test =mapminmax('apply',input_test,inputps); an=sim(net,inputn_test); test_simu(i,:)=mapminmax('reverse',an,outputps); %统计输出效果 kk1=find(test_simu1(i,:)>0); kk2=find(test_simu1(i,:)<0); aa(kk1)=1; aa(kk2)=-1; %统计错误样本数 for j=1:nn if aa(j)~=output_train(j); error(i)=error(i)+D(i,j); end end %弱分类器i权重 at(i)=0.5*log((1-error(i))/error(i)); %更新D值 for j=1:nn D(i+1,j)=D(i,j)*exp(-at(i)*aa(j)*test_simu1(i,j)); end %D值归一化 Dsum=sum(D(i+1,:)); D(i+1,:)=D(i+1,:)/Dsum; end %% 强分类器分类结果 output=sign(at*test_simu); %% 分类结果统计 %统计强分类器每类分类错误个数 kkk1=0; kkk2=0; for j=1:350 if output(j)==1 if output(j)~=output_test(j) kkk1=kkk1+1; end end if output(j)==-1 if output(j)~=output_test(j) kkk2=kkk2+1; end end end kkk1 kkk2 disp('第一类分类错误 第二类分类错误 总错误'); % 窗口显示 disp([kkk1 kkk2 kkk1+kkk2]); plot(output) hold on plot(output_test,'g') %统计弱分离器效果 for i=1:K error1(i)=0; kk1=find(test_simu(i,:)>0); kk2=find(test_simu(i,:)<0); aa(kk1)=1; aa(kk2)=-1; for j=1:350 if aa(j)~=output_test(j); error1(i)=error1(i)+1; end end end disp('统计弱分类器分类效果'); error1 disp('强分类器分类误差率') (kkk1+kkk2)/350 disp('弱分类器分类误差率') (sum(error1)/(K*350)) web browser www.matlabsky.com %% % %

Matlab神经网络30个案例分析

相关论坛:

《Matlab神经网络30个案例分析》官方网站:video.ourmatlab.com

Matlab技术论坛:www.matlabsky.com

Matlab函数百科:www.mfun.la

Matlab中文论坛:www.ilovematlab.com

%

 

你可能感兴趣的:(智能算法学习)