《MATLAB 神经网络43个案例分析》：第5章 基于BP_Adaboost的强分类器设计——公司财务预警建模
《MATLAB 神经网络43个案例分析》：第5章 基于BP_Adaboost的强分类器设计——公司财务预警建模
- 1. 前言
- 2. MATLAB 仿真示例一
- 3. MATLAB 仿真示例二
- 4. 小结
1. 前言
《MATLAB 神经网络43个案例分析》是MATLAB技术论坛（www.matlabsky.com）策划，由王小川老师主导，2013年北京航空航天大学出版社出版的关于MATLAB为工具的一本MATLAB实例教学书籍，是在《MATLAB神经网络30个案例分析》的基础上修改、补充而成的，秉承着“理论讲解—案例分析—应用扩展”这一特色，帮助读者更加直观、生动地学习神经网络。
《MATLAB神经网络43个案例分析》共有43章，内容涵盖常见的神经网络（BP、RBF、SOM、Hopfield、Elman、LVQ、Kohonen、GRNN、NARX等）以及相关智能算法（SVM、决策树、随机森林、极限学习机等）。同时，部分章节也涉及了常见的优化算法（遗传算法、蚁群算法等）与神经网络的结合问题。此外，《MATLAB神经网络43个案例分析》还介绍了MATLAB R2012b中神经网络工具箱的新增功能与特性，如神经网络并行计算、定制神经网络、神经网络高效编程等。
近年来随着人工智能研究的兴起，神经网络这个相关方向也迎来了又一阵研究热潮，由于其在信号处理领域中的不俗表现，神经网络方法也在不断深入应用到语音和图像方向的各种应用当中，本文结合书中案例，对其进行仿真实现，也算是进行一次重新学习，希望可以温故知新，加强并提升自己对神经网络这一方法在各领域中应用的理解与实践。自己正好在多抓鱼上入手了这本书，下面开始进行仿真示例，主要以介绍各章节中源码应用示例为主，本文主要基于MATLAB2015b(32位)平台仿真实现，这是本书第五章基于BP_Adaboost的强分类器设计实例，话不多说，开始！
2. MATLAB 仿真示例一
打开MATLAB，点击“主页”，点击“打开”，找到示例文件
选中Bp_Ada_Fore.m，点击“打开”
Bp_Ada_Fore.m.m源码如下：
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%功能：该代码为基于BP_Adaboost的强预测器预测
%环境：Win7，Matlab2015b
%Modi: C.S
%时间：2022-06-09
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%
% <html>
% <table border="0" width="600px" id="table1"> <tr> <td><b><font size="2">该案例作者申明：</font></b></td> </tr> <tr><td><span class="comment"><font size="2">1：本人长期驻扎在此<a target="_blank" href="http://www.ilovematlab.cn/forum-158-1.html"><font color="#0000FF">板块</font></a>里，对该案例提问，做到有问必答。本套书籍官方网站为：<a href="http://video.ourmatlab.com">video.ourmatlab.com</a></font></span></td></tr><tr> <td><font size="2">2：点此<a href="http://union.dangdang.com/transfer/transfer.aspx?from=P-284318&backurl=http://www.dangdang.com/">从当当预定本书</a>：<a href="http://union.dangdang.com/transfer/transfer.aspx?from=P-284318&backurl=http://www.dangdang.com/">《Matlab神经网络30个案例分析》</a>。</td></tr><tr> <td><p class="comment"></font><font size="2">3</font><font size="2">：此案例有配套的教学视频，视频下载方式<a href="http://video.ourmatlab.com/vbuy.html">video.ourmatlab.com/vbuy.html</a></font><font size="2">。 </font></p></td> </tr> <tr> <td><span class="comment"><font size="2"> 4：此案例为原创案例，转载请注明出处（《Matlab神经网络30个案例分析》）。</font></span></td> </tr> <tr> <td><span class="comment"><font size="2"> 5：若此案例碰巧与您的研究有关联，我们欢迎您提意见，要求等，我们考虑后可以加在案例里。</font></span></td> </tr> </table>
% </html>
%% 清空环境变量
clc
clear
%% 下载数据
tic
load data1 input output
%% 权重初始化
k=rand(1,2000);
[m,n]=sort(k);
%训练样本
input_train=input(n(1:1900),:)';
output_train=output(n(1:1900),:)';
%测试样本
input_test=input(n(1901:2000),:)';
output_test=output(n(1901:2000),:)';
%样本权重
[mm,nn]=size(input_train);
D(1,:)=ones(1,nn)/nn;
%训练样本归一化
[inputn,inputps]=mapminmax(input_train);
[outputn,outputps]=mapminmax(output_train);
K=10;
for i=1:K
%弱预测器训练
net=newff(inputn,outputn,5);
net.trainParam.epochs=20;
net.trainParam.lr=0.1;
net=train(net,inputn,outputn);
%弱预测器预测
an1=sim(net,inputn);
BPoutput=mapminmax('reverse',an1,outputps);
%预测误差
erroryc(i,:)=output_train-BPoutput;
%测试数据预测
inputn1=mapminmax('apply',input_test,inputps);
an2=sim(net,inputn1);
test_simu(i,:)=mapminmax('reverse',an2,outputps);
%调整D值
Error(i)=0;
for j=1:nn
if abs(erroryc(i,j))>0.2 %较大误差
Error(i)=Error(i)+D(i,j);
D(i+1,j)=D(i,j)*1.1;
else
D(i+1,j)=D(i,j);
end
end
%计算弱预测器权重
at(i)=0.5/exp(abs(Error(i)));
%D值归一化
D(i+1,:)=D(i+1,:)/sum(D(i+1,:));
end
%% 强预测器预测
at=at/sum(at);
%% 结果统计
%强分离器效果
output=at*test_simu;
error=output_test-output;
plot(abs(error),'-*')
hold on
for i=1:8
error1(i,:)=test_simu(i,:)-output;
end
plot(mean(abs(error1)),'-or')
title('强预测器预测误差绝对值','fontsize',12)
xlabel('预测样本','fontsize',12)
ylabel('误差绝对值','fontsize',12)
legend('强预测器预测','弱预测器预测')
%web browser www.matlabsky.com
toc
%%
% <html>
% <table width="656" align="left" > <tr><td align="center"><p><font size="2"><a href="http://video.ourmatlab.com/">Matlab神经网络30个案例分析</a></font></p><p align="left"><font size="2">相关论坛：</font></p><p align="left"><font size="2">《Matlab神经网络30个案例分析》官方网站：<a href="http://video.ourmatlab.com">video.ourmatlab.com</a></font></p><p align="left"><font size="2">Matlab技术论坛：<a href="http://www.matlabsky.com">www.matlabsky.com</a></font></p><p align="left"><font size="2">M</font><font size="2">atlab函数百科：<a href="http://www.mfun.la">www.mfun.la</a></font></p><p align="left"><font size="2">Matlab中文论坛：<a href="http://www.ilovematlab.com">www.ilovematlab.com</a></font></p></td> </tr></table>
% </html>
添加完毕，点击“运行”，开始仿真，输出仿真结果如下：
依次点击Performance，Training State，Regression可分别得到以下对应图示。
仿真运行结果如下图：
3. MATLAB 仿真示例二
双击当前文件夹视图中的Bp_Ada_Sort.m，打开Bp_Ada_Sort.m源码如下：
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%功能：该代码为基于BP-Adaboost的强分类器分类
%环境：Win7，Matlab2015b
%Modi: C.S
%时间：2022-06-09
%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
%
% <html>
% <table border="0" width="600px" id="table1"> <tr> <td><b><font size="2">该案例作者申明：</font></b></td> </tr> <tr><td><span class="comment"><font size="2">1：本人长期驻扎在此<a target="_blank" href="http://www.ilovematlab.cn/forum-158-1.html"><font color="#0000FF">板块</font></a>里，对该案例提问，做到有问必答。本套书籍官方网站为：<a href="http://video.ourmatlab.com">video.ourmatlab.com</a></font></span></td></tr><tr> <td><font size="2">2：点此<a href="http://union.dangdang.com/transfer/transfer.aspx?from=P-284318&backurl=http://www.dangdang.com/">从当当预定本书</a>：<a href="http://union.dangdang.com/transfer/transfer.aspx?from=P-284318&backurl=http://www.dangdang.com/">《Matlab神经网络30个案例分析》</a>。</td></tr><tr> <td><p class="comment"></font><font size="2">3</font><font size="2">：此案例有配套的教学视频，视频下载方式<a href="http://video.ourmatlab.com/vbuy.html">video.ourmatlab.com/vbuy.html</a></font><font size="2">。 </font></p></td> </tr> <tr> <td><span class="comment"><font size="2"> 4：此案例为原创案例，转载请注明出处（《Matlab神经网络30个案例分析》）。</font></span></td> </tr> <tr> <td><span class="comment"><font size="2"> 5：若此案例碰巧与您的研究有关联，我们欢迎您提意见，要求等，我们考虑后可以加在案例里。</font></span></td> </tr> </table>
% </html>
%% 清空环境变量
clc
clear
%% 下载数据
tic
load data input_train output_train input_test output_test
%% 权重初始化
[mm,nn]=size(input_train);
D(1,:)=ones(1,nn)/nn;
%% 弱分类器分类
K=10;
for i=1:K
%训练样本归一化
[inputn,inputps]=mapminmax(input_train);
[outputn,outputps]=mapminmax(output_train);
error(i)=0;
%BP神经网络构建
net=newff(inputn,outputn,6);
net.trainParam.epochs=5;
net.trainParam.lr=0.1;
net.trainParam.goal=0.00004;
%BP神经网络训练
net=train(net,inputn,outputn);
%训练数据预测
an1=sim(net,inputn);
test_simu1(i,:)=mapminmax('reverse',an1,outputps);
%测试数据预测
inputn_test =mapminmax('apply',input_test,inputps);
an=sim(net,inputn_test);
test_simu(i,:)=mapminmax('reverse',an,outputps);
%统计输出效果
kk1=find(test_simu1(i,:)>0);
kk2=find(test_simu1(i,:)<0);
aa(kk1)=1;
aa(kk2)=-1;
%统计错误样本数
for j=1:nn
if aa(j)~=output_train(j);
error(i)=error(i)+D(i,j);
end
end
%弱分类器i权重
at(i)=0.5*log((1-error(i))/error(i));
%更新D值
for j=1:nn
D(i+1,j)=D(i,j)*exp(-at(i)*aa(j)*test_simu1(i,j));
end
%D值归一化
Dsum=sum(D(i+1,:));
D(i+1,:)=D(i+1,:)/Dsum;
end
%% 强分类器分类结果
output=sign(at*test_simu);
%% 分类结果统计
%统计强分类器每类分类错误个数
kkk1=0;
kkk2=0;
for j=1:350
if output(j)==1
if output(j)~=output_test(j)
kkk1=kkk1+1;
end
end
if output(j)==-1
if output(j)~=output_test(j)
kkk2=kkk2+1;
end
end
end
kkk1
kkk2
disp('第一类分类错误 第二类分类错误 总错误');
% 窗口显示
disp([kkk1 kkk2 kkk1+kkk2]);
plot(output)
hold on
plot(output_test,'g')
%统计弱分离器效果
for i=1:K
error1(i)=0;
kk1=find(test_simu(i,:)>0);
kk2=find(test_simu(i,:)<0);
aa(kk1)=1;
aa(kk2)=-1;
for j=1:350
if aa(j)~=output_test(j);
error1(i)=error1(i)+1;
end
end
end
disp('统计弱分类器分类效果');
error1
disp('强分类器分类误差率')
(kkk1+kkk2)/350
disp('弱分类器分类误差率')
(sum(error1)/(K*350))
toc
% web browser www.matlabsky.com
%%
% <html>
% <table width="656" align="left" > <tr><td align="center"><p><font size="2"><a href="http://video.ourmatlab.com/">Matlab神经网络30个案例分析</a></font></p><p align="left"><font size="2">相关论坛：</font></p><p align="left"><font size="2">《Matlab神经网络30个案例分析》官方网站：<a href="http://video.ourmatlab.com">video.ourmatlab.com</a></font></p><p align="left"><font size="2">Matlab技术论坛：<a href="http://www.matlabsky.com">www.matlabsky.com</a></font></p><p align="left"><font size="2">M</font><font size="2">atlab函数百科：<a href="http://www.mfun.la">www.mfun.la</a></font></p><p align="left"><font size="2">Matlab中文论坛：<a href="http://www.ilovematlab.com">www.ilovematlab.com</a></font></p></td> </tr></table>
% </html>
点击“运行”，开始仿真，输出仿真结果如下：
kkk1 =
0
kkk2 =
14
第一类分类错误 第二类分类错误 总错误
0 14 14
统计弱分类器分类效果
error1 =
14 16 14 17 16 18 17 16 24 34
强分类器分类误差率
ans =
0.0400
弱分类器分类误差率
ans =
0.0531
时间已过 2.189240 秒。
依次点击Performance，Training State，Regression可分别得到如上节对应图示。
4. 小结
Adaboost是一种迭代算法，其核心思想是针对同一个训练集训练不同的分类器(弱分类器)，然后把这些弱分类器集合起来，构成一个更强的最终分类器（强分类器）。本文将BP神经网络与Adaboost相结合进行预测分类应用，并对弱分类器与强分类器的分类误差进行了统计对比分析。记得自己研究生时期的毕设车牌识别系统中的车牌定位就是祖传的基于Adaboost结合Haar-like特征进行训练得到的，定位效果确实不错。对本章内容感兴趣或者想充分学习了解的，建议去研习书中第五章节的内容。后期会对其中一些知识点在自己理解的基础上进行补充，欢迎大家一起学习交流。