回归预测 | MATLAB实现CNN-GRU-Attention多输入单输出回归预测

回归预测 | MATLAB实现CNN-GRU-Attention多输入单输出回归预测

预测效果

基本介绍

MATLAB实现CNN-GRU-Attention多输入单输出回归预测，CNN-GRU结合注意力机制多输入单输出回归预测。

模型描述

Matlab实现CNN-GRU-Attention多变量回归预测
1.data为数据集，格式为excel，7个输入特征，1个输出特征；
2.MainCNN-GRU_Attention.m为主程序文件，运行即可；
3.命令窗口输出R2、MAE、MAPE、MSE和MBE，可在下载区获取数据和程序内容；

注意程序和数据放在一个文件夹，运行环境为Matlab2020b及以上。
4.注意力机制模块：
SEBlock（Squeeze-and-Excitation Block）是一种聚焦于通道维度而提出一种新的结构单元，为模型添加了通道注意力机制，该机制通过添加各个特征通道的重要程度的权重，针对不同的任务增强或者抑制对应的通道，以此来提取有用的特征。该模块的内部操作流程如图，总体分为三步：首先是Squeeze 压缩操作，对空间维度的特征进行压缩，保持特征通道数量不变。融合全局信息即全局池化，并将每个二维特征通道转换为实数。实数计算公式如公式所示。该实数由k个通道得到的特征之和除以空间维度的值而得，空间维数为H*W。其次是Excitation激励操作，它由两层全连接层和Sigmoid函数组成。如公式所示，s为激励操作的输出，σ为激活函数sigmoid，W2和W1分别是两个完全连接层的相应参数，δ是激活函数ReLU，对特征先降维再升维。最后是Reweight操作，对之前的输入特征进行逐通道加权，完成原始特征在各通道上的重新分配。

程序设计

• 完整程序和数据获取方式1：同等价值程序兑换；
• 完整程序和数据获取方式2：私信博主获取。

%%  划分训练集和测试集
P_train = res(1: num_train_s, 1: f_)';
T_train = res(1: num_train_s, f_ + 1: end)';
M = size(P_train, 2);

P_test = res(num_train_s + 1: end, 1: f_)';
T_test = res(num_train_s + 1: end, f_ + 1: end)';
N = size(P_test, 2);

%%  数据归一化
[p_train, ps_input] = mapminmax(P_train, 0, 1);
p_test = mapminmax('apply', P_test, ps_input);

[t_train, ps_output] = mapminmax(T_train, 0, 1);
t_test = mapminmax('apply', T_test, ps_output);

%%  数据平铺
%   将数据平铺成1维数据只是一种处理方式
%   也可以平铺成2维数据，以及3维数据，需要修改对应模型结构
%   但是应该始终和输入层数据结构保持一致
p_train =  double(reshape(p_train, f_, 1, 1, M));
p_test  =  double(reshape(p_test , f_, 1, 1, N));
t_train =  double(t_train)';
t_test  =  double(t_test )';

%%  数据格式转换
for i = 1 : M
    Lp_train{i, 1} = p_train(:, :, 1, i);
end

for i = 1 : N
    Lp_test{i, 1}  = p_test( :, :, 1, i);
end
    
%%  建立模型
lgraph = layerGraph();                                                 % 建立空白网络结构

tempLayers = [
    sequenceInputLayer([f_, 1, 1], "Name", "sequence")                 % 建立输入层，输入数据结构为[f_, 1, 1]
    sequenceFoldingLayer("Name", "seqfold")];                          % 建立序列折叠层
lgraph = addLayers(lgraph, tempLayers);                                % 将上述网络结构加入空白结构中

tempLayers = convolution2dLayer([3, 1], 32, "Name", "conv_1");         % 卷积层 卷积核[3, 1] 步长[1, 1] 通道数 32
lgraph = addLayers(lgraph,tempLayers);                                 % 将上述网络结构加入空白结构中
%% 赋值
L2Regularization =abs(optVars(1)); % 正则化参数
InitialLearnRate=abs(optVars(2)); % 初始学习率
NumOfUnits = abs(round(optVars(3))); % 隐藏层节点数

%%  输入和输出特征个数
inputSize    = size(input_train, 1);   %数据输入x的特征维度
numResponses = size(output_train, 1);   %数据输出y的维度

%%  设置网络结构
opt.layers = [ ...
    sequenceInputLayer(inputSize)     %输入层,参数是输入特征维数
    bilstmLayer(NumOfUnits)        %学习层，BiLSTM函数 ，
    dropoutLayer(0.2)                  %权重丢失率
    fullyConnectedLayer(numResponses)   %全连接层，也就是输出的维数
    regressionLayer];    %回归层,该参数说明是在进行回归问题，而不是分类问题

%%  设置网络参数
opt.options = trainingOptions('adam', ...             % 优化算法Adam
    'MaxEpochs', 100, ...                            % 最大训练次数，推荐180
    'GradientThreshold', 1, ...                      %梯度阈值,防止梯度爆炸
    'ExecutionEnvironment','cpu',...   %对于大型数据集合、长序列或大型网络，在 GPU 上进行预测计算通常比在 CPU 上快。其他情况下，在 CPU 上进行预测计算通常更快。
    'InitialLearnRate', InitialLearnRate, ... % 初始学习率
    'LearnRateSchedule', 'piecewise', ...             % 学习率调整
    'LearnRateDropPeriod',120, ...                   % 训练80次后开始调整学习率
    'LearnRateDropFactor',0.2, ...                  % 指定初始学习率 0.005，在 100 轮训练后通过乘以因子 0.2 来降低学习率。
    'L2Regularization', L2Regularization, ...       % 正则化参数
    'Verbose', 0, ...                                 % 关闭优化过程
    'Plots', 'none');                                 % 不画出曲线 

参考资料

[1] https://blog.csdn.net/kjm13182345320/article/details/129679476?spm=1001.2014.3001.5501
[2] https://blog.csdn.net/kjm13182345320/article/details/129659229?spm=1001.2014.3001.5501
[3] https://blog.csdn.net/kjm13182345320/article/details/129653829?spm=1001.2014.3001.5501