多维时序 | MATLAB实现CNN-LSTM-Attention多变量时间序列预测

多维时序 | MATLAB实现CNN-LSTM-Attention多变量时间序列预测

预测效果

基本介绍

MATLAB实现CNN-LSTM-Attention多变量时间序列预测，CNN-LSTM结合注意力机制多变量时间序列预测。

模型描述

Matlab实现CNN-LSTM-Attention多变量时间序列预测
1.data为数据集，格式为excel，4个输入特征，1个输出特征，考虑历史特征的影响，多变量时间序列预测；
2.CNN_LSTM_AttentionNTS.m为主程序文件，运行即可；
3.命令窗口输出R2、MAE、MAPE、MSE和MBE，可在下载区获取数据和程序内容；
注意程序和数据放在一个文件夹，运行环境为Matlab2020b及以上。

注意程序和数据放在一个文件夹，运行环境为Matlab2020b及以上。
4.注意力机制模块：
SEBlock（Squeeze-and-Excitation Block）是一种聚焦于通道维度而提出一种新的结构单元，为模型添加了通道注意力机制，该机制通过添加各个特征通道的重要程度的权重，针对不同的任务增强或者抑制对应的通道，以此来提取有用的特征。该模块的内部操作流程如图，总体分为三步：首先是Squeeze 压缩操作，对空间维度的特征进行压缩，保持特征通道数量不变。融合全局信息即全局池化，并将每个二维特征通道转换为实数。实数计算公式如公式所示。该实数由k个通道得到的特征之和除以空间维度的值而得，空间维数为H*W。其次是Excitation激励操作，它由两层全连接层和Sigmoid函数组成。如公式所示，s为激励操作的输出，σ为激活函数sigmoid，W2和W1分别是两个完全连接层的相应参数，δ是激活函数ReLU，对特征先降维再升维。最后是Reweight操作，对之前的输入特征进行逐通道加权，完成原始特征在各通道上的重新分配。

程序设计

• 完整程序和数据获取方式1：同等价值程序兑换；
• 完整程序和数据获取方式2：私信博主获取。

lgraph = addLayers(lgraph, tempLayers);                                % 将上述网络结构加入空白结构中

tempLayers = multiplicationLayer(2, "Name", "multiplication");         % 点乘的注意力
lgraph = addLayers(lgraph, tempLayers);                                % 将上述网络结构加入空白结构中

tempLayers = [
    sequenceUnfoldingLayer("Name", "sequnfold")                        % 建立序列反折叠层
    flattenLayer("Name", "flatten")                                    % 网络铺平层
    lstmLayer(15, "Name", "lstm", "OutputMode", "last")                % LSTM层
    fullyConnectedLayer(1, "Name", "fc")                               % 全连接层
    regressionLayer("Name", "regressionoutput")];                      % 回归层
lgraph = addLayers(lgraph, tempLayers);                                % 将上述网络结构加入空白结构中

lgraph = connectLayers(lgraph, "seqfold/out", "conv_1");               % 折叠层输出 连接 卷积层输入;
lgraph = connectLayers(lgraph, "seqfold/miniBatchSize", "sequnfold/miniBatchSize"); 
                                                                       % 折叠层输出 连接 反折叠层输入  
lgraph = connectLayers(lgraph, "conv_1", "relu_1");                    % 卷积层输出 链接 激活层
lgraph = connectLayers(lgraph, "conv_1", "gapool");                    % 卷积层输出 链接 全局平均池化
lgraph = connectLayers(lgraph, "relu_2", "multiplication/in2");        % 激活层输出 链接 相乘层
lgraph = connectLayers(lgraph, "sigmoid", "multiplication/in1");       % 全连接输出 链接 相乘层
lgraph = connectLayers(lgraph, "multiplication", "sequnfold/in");      % 点乘输出

%%  参数设置
options = trainingOptions('adam', ...      % Adam 梯度下降算法
    'MaxEpochs', 800, ...                  % 最大迭代次数
    'InitialLearnRate', 1e-2, ...          % 初始学习率为0.01
    'LearnRateSchedule', 'piecewise', ...  % 学习率下降
    'LearnRateDropFactor', 0.1, ...        % 学习率下降因子 0.5
    'LearnRateDropPeriod', 100, ...        % 经过100次训练后 学习率为 0.01 * 0.1
    'Shuffle', 'every-epoch', ...          % 每次训练打乱数据集
    'Plots', 'training-progress', ...      % 画出曲线
    'Verbose', false);

参考资料

[1] http://t.csdn.cn/pCWSp
[2] https://download.csdn.net/download/kjm13182345320/87568090?spm=1001.2014.3001.5501
[3] https://blog.csdn.net/kjm13182345320/article/details/129433463?spm=1001.2014.3001.5501