备战数学建模46-小波神经网络WNN(攻坚站11)

我们之前学过BP神经网络，今天我们学习一下小波神经网络，和BP神经网络相比，小波神经网络拥有小波变换的优点，避免了 BP 网络设计结构上的盲目性，但是隐含层的节点数以及各层之间的权值、尺度因子的初始化参数难以确定，会影响网络的收敛速度。在后续的学习中，可以尝试其他小波函数的神经网络，通过比较其最优结果构造小波神经网络。

目录

一、小波神经网络案例

1.1、比较BP神经网络和小波神经网络

1.2、小波神经网络建立

 1.3、小波神经网络的预测流程图

1.4、数据集准备

 1.5、小波神经网络预测短时交通流MATLAB代码及结果分析

1.6、小结

---

一、小波神经网络案例

1.1、比较BP神经网络和小波神经网络

我们首先看一下BP神经网络，BP 网络的实现过程主要分成两个阶段，第一阶段是信号的前向传播，从输入层经过隐含层到达输出层，第二阶段是误差的反向传播，从输出层经过隐含层到达输入层。误差传递完后，依次调节输入层和隐含层之间的权值和偏置，以及隐含层和输出层之间的权值和偏置。如图所示：

 BP神经网络的神经元如下所示，一般使用的激活函数是sigmoid函数，如下：

 

小波变换是以 Fourier 分析为基础的一种新的数学变换手段，它克服了 Fourier变换的局限性以及加窗 Fourier 变换的窗口不变的缺点。小波变换主要通过伸缩和平移实现多尺度细化，突出所要处理的问题细节，有效提取局部信息。小波神经网络是改进的BP网络，将原先的隐含层的Sigmiod激活函数替换为小波函数——Morlet小波，其表达式为：

1.2、小波神经网络建立

我们看一下这个小波神经网络，相比BP神经网络，将原先的隐含层的Sigmiod激活函数替换为小波函数。

 

 

 1.3、小波神经网络的预测流程图

小波神经网络的预测过程如下，初始化网络权值和伸缩平移尺度等参数，计算误差，根据误差调整参数，根据训练集训练出较好的网络，然后根据网络进行预测。

 

1.4、数据集准备

数据划分为训练集数据和测试集数据，训练276组，测试集92组，输入为交通相关的四个参数，输出是交通流量。

 1.5、小波神经网络预测短时交通流MATLAB代码及结果分析

 下面看一下小波神经网络的matlab代码：

%% 清空环境变量
clc
clear

%% 网络参数配置
load traffic_flux input output input_test output_test

M=size(input,2); %输入节点个数
N=size(output,2); %输出节点个数

n=6; %隐藏层节点个数
lr1=0.01; %学习速率
lr2=0.001; %学速率速率
maxgen=100; %迭代次数

%初始化输入层到隐含层，隐含层到输出层的权值
Wjk=randn(n,M);Wjk_1=Wjk;Wjk_2=Wjk_1;
Wij=randn(N,n);Wij_1=Wij;Wij_2=Wij_1;
%初始化伸缩因子
a=randn(1,n);a_1=a;a_2=a_1;
b=randn(1,n);b_1=b;b_2=b_1;

%节点初始化
y=zeros(1,N);
net=zeros(1,n);
net_ab=zeros(1,n);

%权值学习增量初始化
d_Wjk=zeros(n,M);
d_Wij=zeros(N,n);
d_a=zeros(1,n);
d_b=zeros(1,n);

%% 输入输出数据归一化
[inputn,inputps]=mapminmax(input');
[outputn,outputps]=mapminmax(output'); 
inputn=inputn';
outputn=outputn';

%% 网络训练
for i=1:maxgen
    %误差累计
    error(i)=0;
    % 循环训练
    for kk=1:size(input,1)
        x=inputn(kk,:);
        yqw=outputn(kk,:);
        for j=1:n
            for k=1:M
                net(j)=net(j)+Wjk(j,k)*x(k);
                net_ab(j)=(net(j)-b(j))/a(j);
            end
            temp = exp(-(net_ab(j).^2)/2) * cos(1.75*net_ab(j));
            %temp=mymorlet(net_ab(j)); %小波函数
            for k=1:N
                y=y+Wij(k,j)*temp;   %计算输出
            end
        end
        
        %计算误差和
        error(i)=error(i)+sum(abs(yqw-y));
        
        %权值调整
        for j=1:n
            %计算d_Wij，隐藏层和输出层权值调整
            temp=exp(-(net_ab(j).^2)/2) * cos(1.75*net_ab(j));
            for k=1:N
                d_Wij(k,j)=d_Wij(k,j)-(yqw(k)-y(k))*temp;
            end
            %计算d_Wjk，输入层到隐藏层权值调整
            temp = -1.75*sin(1.75*net_ab(j)).*exp(-(net_ab(j).^2)/2)-net_ab(j)* cos(1.75*net_ab(j)).*exp(-(net_ab(j).^2)/2) ;
      
            for k=1:M
                for l=1:N
                    d_Wjk(j,k)=d_Wjk(j,k)+(yqw(l)-y(l))*Wij(l,j) ;
                end
                d_Wjk(j,k)=-d_Wjk(j,k)*temp*x(k)/a(j);
            end
            %计算d_b，伸缩因子
            for k=1:N
                d_b(j)=d_b(j)+(yqw(k)-y(k))*Wij(k,j);
            end
            d_b(j)=d_b(j)*temp/a(j);
            %计算d_a，伸缩因子
            for k=1:N
                d_a(j)=d_a(j)+(yqw(k)-y(k))*Wij(k,j);
            end
            d_a(j)=d_a(j)*temp*((net(j)-b(j))/b(j))/a(j);
        end
        
        %权值参数更新      
        Wij=Wij-lr1*d_Wij;
        Wjk=Wjk-lr1*d_Wjk;
        b=b-lr2*d_b;
        a=a-lr2*d_a;
    
        d_Wjk=zeros(n,M);
        d_Wij=zeros(N,n);
        d_a=zeros(1,n);
        d_b=zeros(1,n);

        y=zeros(1,N);
        net=zeros(1,n);
        net_ab=zeros(1,n);
        
        Wjk_1=Wjk;Wjk_2=Wjk_1;
        Wij_1=Wij;Wij_2=Wij_1;
        a_1=a;a_2=a_1;
        b_1=b;b_2=b_1;
    end
end

%% 网络预测
%预测输入归一化
x=mapminmax('apply',input_test',inputps);
x=x';

%网络预测
for i=1:92
    x_test=x(i,:);

    for j=1:1:n
        for k=1:1:M
            net(j)=net(j)+Wjk(j,k)*x_test(k);
            net_ab(j)=(net(j)-b(j))/a(j);
        end
        temp=exp(-(net_ab(j).^2)/2) * cos(1.75*net_ab(j));
        for k=1:N
            y(k)=y(k)+Wij(k,j)*temp ; 
        end
    end

    yuce(i)=y(k);
    y=zeros(1,N);
    net=zeros(1,n);
    net_ab=zeros(1,n);
end
%预测输出反归一化
ynn=mapminmax('reverse',yuce,outputps);

%% 结果分析
figure(1)
plot(ynn,'r*:')
hold on
plot(output_test,'bo--')
title('预测交通流量','fontsize',12)
legend('预测交通流量','实际交通流量')
xlabel('时间点')
ylabel('交通流量')

这次使用了两个Morlet小波函数：用来更新各层之间的权重和伸缩因子。

y = exp(-(t.^2)/2) * cos(1.75*t);

y = -1.75*sin(1.75*t).*exp(-(t.^2)/2)-t* cos(1.75*t).*exp(-(t.^2)/2) ;

预测的效果如下所示，可以发现使用测试集进行预测，预测的交通流量和实际的交通流量较为接近，网络模型的泛化能力较好。

 

1.6、小结

小波神经网络（Wavelet Neural Network， WNN）是在小波分析研究获得突破的基础上提出的一种人工神经网络。它是基于小波分析理论以及小波变换所构造的一种分层的、多分辨率的新型人工神经网络模型。即用非线性小波基取代了通常的非线性Sigmoid 函数，其信号表述是通过将所选取的小波基进行线性叠加来表现的。它避免了BP 神经网络结构设计的盲目性和局部最优等非线性优化问题，大大简化了训练，具有较强的函数学习能力和推广能力及广阔的应用前景。