回归预测 基于ELMAN递归神经网络预测及其matlab代码实现

文章目录

  • 1. ELMAN神经网络的简介和算法描述
    • 1.1 Elman网络介绍
    • 1.2 Elman结构组成
  • 1.3 ELMAN训练界面的参数解读
  • 2. 建立ELMAN神经网络的步骤
  • 3. 编写MATLAB代码
  • 4. ELMAN程序运行结果
    • 4.1 各层的神经元个数的确定过程
    • 4.2 预测值和真实值的误差计算(SSE、MAE、MSE、RMSE、MAPE)
    • 4.3 Elman网络预测的分析图像
  • 5. 小结
  • 6. MATLAB代码与数据下载地址

1. ELMAN神经网络的简介和算法描述

1.1 Elman网络介绍

神经网络是一个庞大的体系和概念,根据处理信息的不同方式来区分不同的network。比如根据处理信息结果的传递方向,分前馈型与反馈型。前馈型网络会根据输出数值来调整网络的参数,反馈型网络的输入会存在输入或者输出数值的反馈,可以对运算处理过程不断地进行优化。网络的反馈形式决定了网络的动态运算特点,递归神经网络ELMAN和前面所介绍的三层BP神经网络相比,增加了一个承接层,可以理解成延时算子,作用是让网络存在记忆功能,更好地适应数据输入的动态变化。

1.2 Elman结构组成

在这里插入图片描述

ELMAN的构造分为四层神经元:输入层、隐含层、承接层以及输出层(在使用智能算法优化ELMAN的参数时,理解ELMAN的结构将有所帮助)。

a). 输入层、输出层的神经元节点个数:
输入层的神经元数量与输入数据特征的维数是相等的,输出层的神经元节点数量也等同于输出数据标签的维度,这与BP神经网络一样。

b). 隐含层的神经元节点个数:
不管在BP还是ELMAN,或者其他的神经网络,隐含层的神经元个数都不是固定的。如果选择的隐含层神经元个数较少时,就会导致网络的学习程度减小甚至无法学习。节点个数较多时,则会导致网络训练的过程变慢,也很难得出预计的情况。只有当隐含层神经元数量只有控制在一个合理的范围内,才能使得网络模型好的进行学习运算。
通常的做法是根据以下公式来推出隐含层节点数目的范围,在范围之内根据训练误差最小(分类问题则取准确率最高或者误差率最低)的原则来确定最佳的隐含层节点数目。

h = m + n + a h=\sqrt{m+n}+a h=m+n +a

式中,h为隐含层节点个数,m为输入层节点个数,n为输出层节点个数,a一般取为1-10之间的常数。BP神经网络确定隐含层节点也通常采用该式。

c). 承接层的神经元节点个数:
承接层也叫做上下文层和状态层,主要功能是用来记忆隐含层上一个时间点的输出数值。所以承接层的神经元个数与隐含层相同,确定方法为:先根据训练误差最小确定最佳的隐含层神经元节点,再得到承接层的神经元节点个数。

1.3 ELMAN训练界面的参数解读

在这里插入图片描述

2. 建立ELMAN神经网络的步骤

1.读取数据
2. 划分训练集、测试集
3. 数据归一化
4. 获取输入层节点、输出层节点个数
5. 确定网络层与层之间的传递函数和训练算法
6. 构建最佳隐含层节点(承接层节点)的ELMAN神经网络
7. 训练网络
8. 网络测试
9. 对ELMAN的预测值与实际值进行误差分析
10. 打印预测结果和误差表格

3. 编写MATLAB代码

3.1 读取数据
采用深度学习常用的建筑物能源数据集进行预测实验,数据是EXCEL格式,形式为:

样本序号 输入指标1 输入指标2 输出指标
1 -
2 -
-
n -

EXCEL的读取命令为(对应EXCEL的工作簿名,工作表Sheet名,单元格范围):

%% 读取数据
data=xlsread('数据.xlsx','Sheet1','A1:N252'); %%使用xlsread函数读取EXCEL中对应范围的数据即可  

%输入输出数据
input=data(:,1:end-1);    %data的第一列-倒数第二列为特征指标
output=data(:,end);  %data的最后面一列为输出的指标值

3.2 划分训练集测试集
分层抽取即可,通过程序获取样本总数N,设置测试样本数目testNum,训练样本数为N-testNum。

N=length(output);   %全部样本数目
testNum=30;   %设定测试样本数目
trainNum=N-testNum;    %计算训练样本数目

3.3 数据归一化
采用MATLAB自带的mapminmax函数,可以很方便的设置归一化的范围为[-1,1],[0,1]等(注意如果MATLAB安装了LSSVM的工具包,会与mapminmax函数发生冲突,在添加的路径中去掉LSSVM路径即可)

%% 数据归一化
%归一化到0,1之间,归一化可以消除特征指标的量纲和数量级的影响
[inputn,inputps]=mapminmax(input_train,0,1);  
[outputn,outputps]=mapminmax(output_train);
inputn_test=mapminmax('apply',input_test,inputps);

3.4 获取输入层输出层节点的个数
使用size函数,用法为[M,N]=size(A),M对应A的行数,N对应A的列数,size(A,1)返回的M值,size(A,2)返回的N值。指标是列的方向,所以采用N=size(A,2)的写法。

inputnum=size(input,2);
outputnum=size(output,2);

3.5 确定网络的传递函数与训练算法

string={'tansig','purelin'};    %传递函数
func_str='traingdx';    %训练算法

3.6 使用循环遍历范围内的隐含层节点与训练误差情况
因为要找最小的误差,所以初始化训练误差时,将MSE设置较大的数字,用于在循环中确定最佳的隐含层节点。

%确定隐含层节点个数
%采用经验公式hiddennum=sqrt(m+n)+a,m为输入层节点个数
%n为输出层节点个数,a一般取为1-10之间的整数
MSE=1e+5; %初始化训练误差
    

3.7 训练网络

%% 构建最佳隐含层节点(承接层节点)的ELMAN神经网络
net=newelm(inputn,outputn,hiddennum_best,string,func_str);

% 网络参数
net.trainParam.epochs=1000;         % 训练次数
net.trainParam.lr=0.01;                   % 学习速率
net.trainParam.goal=0.0001;        % 训练目标最小误差

%% 训练网络
net=train(net,inputn,outputn);

3.8 网络测试与误差分析

%% 网络测试
an=sim(net,inputn_test); %用训练好的模型进行仿真
test_simu=mapminmax('reverse',an,outputps); % 预测结果反归一化

%% 对ELMAN的预测值与实际值进行误差分析
error=test_simu-output_test;      %预测值和真实值的误差

%% 计算误差指标
SSE=sum(error.^2);  %误差平方和
MAE=sum(abs(error))/len;   %平均绝对误差
MSE=error*error'/len;  %均方误差
RMSE=MSE^(1/2);   %均方误差根
MAPE=mean(abs(error./output_test));  %平均百分比误差

4. ELMAN程序运行结果

4.1 各层的神经元个数的确定过程

注意:隐含层节点数=承接层的神经元节点数

在这里插入图片描述

4.2 预测值和真实值的误差计算(SSE、MAE、MSE、RMSE、MAPE)

在这里插入图片描述

4.3 Elman网络预测的分析图像

  1. 预测值和真实值的对比图像
    在这里插入图片描述
  2. 预测值与实际值的误差图像
    在这里插入图片描述
  3. 训练集、验证集、测试集和总体的均方误差随训练次数的变化图像
    注:小圆圈位置代表终止的训练次数(即代数)处的均方误差
    在这里插入图片描述
  4. Elman各阶段的训练图像
    对三个图的解释:(1)梯度随训练的进行而发生减小,(2)在后期(149代)发生过拟合现象,连续6次过拟合,终止网络训练,(3)学习速率lr随训练的进行发生变化,减小。从前面3的train、test、validation来看,三个部分的训练性能变化一致,在134代训练达到最佳的训练效果(performance最小为0.04517),说明训练是合格的。过拟合现象在训练中无法避免,MATLAB进行Elman训练时,默认发生连续6次过拟合则停止训练,可设置过拟合连续的最大次数停止准则。
    在这里插入图片描述

5. 小结

  1. Elman神经网络的结构相比BP神经网络多了一个承接层,能对动态变化的信息进行处理。
  2. 从Elman的四层结构来看,Elman有很好的自适应和学习能力,以及高并行度。
  3. 本篇将Elman神经网络的搭建思路和关键代码表述清楚,供大家参考和学习。如有问题,欢迎留言交流。
  4. 若有不恰当的地方,恳请码友指正。

6. MATLAB代码与数据下载地址

见博客主页

你可能感兴趣的:(预测模型及优化,支持向量机,算法,分类)