【Matlab】基于粒子群优化算法优化BP神经网络的数据回归预测(Excel可直接替换数据)

【Matlab】基于粒子群优化算法优化 BP 神经网络的数据回归预测(Excel可直接替换数据)

  • 1.模型原理
  • 2.数学公式
  • 3.文件结构
  • 4.Excel数据
  • 5.分块代码
    • 5.1 fun.m
    • 5.2 main.m
  • 6.完整代码
    • 6.1 fun.m
    • 6.2 main.m
  • 7.运行结果

1.模型原理

基于粒子群优化算法(Particle Swarm Optimization, PSO)优化BP神经网络的数据回归预测是一种结合了PSO和BP神经网络的方法,用于提高BP神经网络在回归预测任务中的性能。BP神经网络是一种常用的前向人工神经网络,用于处理回归和分类问题,但在复杂问题上可能陷入局部最优解。PSO是一种全局优化算法,可以帮助寻找更优的神经网络权重和偏置值,从而提高BP神经网络的预测精度。

下面介绍“基于粒子群优化算法优化BP神经网络的数据回归预测”的原理:

  1. BP神经网络简介
    BP神经网络是一种前向人工神经网络,由输入层、若干隐藏层和输出层组成。它通过前向传播计算输出,并通过反向传播算法来更新权重和偏置,以最小化预测值与真实值之间的误差。BP神经网络在回归问题中可以用于拟合非线性函数,并通过梯度下降法进行参数优化。

  2. 粒子群优化算法简介
    PSO是一种群体智能优化算法,受到鸟群觅食行为的启发。在PSO中,个体被称为“粒子”,它们在搜索空间中移动,并通过学习社会最优和个体最优位置来更新自己的位置和速度。每个粒子维护两个向量:速度向量和位置向量,它们决定了粒子在搜索空间中的移动方向和距离。

  3. 基于粒子群优化的BP神经网络优化
    在使用PSO优化BP神经网络时,我们将BP神经网络的权重和偏置作为待优化的参数。每个粒子表示一组可能的权重和偏置的取值,称为“粒子的位置”。PSO算法中的每个粒子都有一个适应度函数,用于评估其在问题中的表现。在这里,适应度函数可以是回归预测任务中的损失函数,如均方误差。

  4. PSO算法流程
    PSO算法的基本流程如下:

    • 初始化粒子群的位置和速度。
    • 计算每个粒子的适应度值(即神经网络在训练数据上的预测误差)。
    • 根据个体最优和全局最优位置更新粒子的速度和位置。
    • 重复上述步骤,直到满足停止条件(如达到最大迭代次数或达到预定的精度)。
  5. 优化过程
    在优化过程中,每个粒子代表了一组BP神经网络的权重和偏置。它们根据自身的适应度和周围粒子的表现来更新自己的位置和速度,以寻找更优的权重和偏置组合。通过迭代优化,粒子逐渐趋向于全局最优解,从而提高了BP神经网络的预测性能。

  6. 应用于数据回归预测
    将PSO算法与BP神经网络结合应用于数据回归预测任务时,首先需要准备训练数据和测试数据。然后,利用PSO算法优化BP神经网络的权重和偏置,使其能够更好地拟合训练数据。最后,使用优化后的BP神经网络对测试数据进行预测,得到回归预测的结果。

总结起来,基于粒子群优化算法优化BP神经网络的数据回归预测方法,通过结合PSO算法的全局优化特性,帮助BP神经网络更好地拟合数据并提高预测精度。这种方法在数据回归预测任务中具有较好的性能,并且在应用于其他优化问题上也具有广泛的应用价值。

请注意,上述原理中的公式较为复杂,因此在此处不进行具体展示。实际应用中,需要结合具体问题和数据来进行实现和优化。

2.数学公式

当涉及到“基于粒子群优化算法优化BP神经网络的数据回归预测”的原理时,包含了BP神经网络和粒子群优化算法两个主要部分。以下是这两部分的关键公式:

BP神经网络部分

  1. 前向传播:
    在第 ( l l l) 层神经元中,输入加权和 ( z j l z_j^l zjl) 和激活函数 ( a j l a_j^l ajl) 的关系为:
    z j l = ∑ k = 1 n l − 1 w j k l a k l − 1 + b j l z_j^l = \sum_{k=1}^{n_{l-1}} w_{jk}^l a_k^{l-1} + b_j^l zjl=k=1nl1wjklakl1+bjl
    a j l = σ ( z j l ) a_j^l = \sigma(z_j^l) ajl=σ(zjl)

    其中,

    • ( z j l z_j^l zjl) 是第 ( l l l) 层第 ( j j j) 个神经元的输入加权和,
    • ( a j l a_j^l ajl) 是第 ( l l l) 层第 ( j j j) 个神经元的输出(激活值),
    • ( w j k l w_{jk}^l wjkl) 是第 ( l l l) 层第 ( j j j) 个神经元和第 ( l − 1 l-1 l1) 层第 ( k k k) 个神经元之间的权重,
    • ( a k l − 1 a_k^{l-1} akl1) 是第 ( l − 1 l-1 l1) 层第 ( k k k) 个神经元的输出(激活值),
    • ( b j l b_j^l bjl) 是第 ( l l l) 层第 ( j j j) 个神经元的偏置项,
    • ( σ ( ⋅ ) \sigma(\cdot) σ()) 是激活函数,通常为 sigmoid、ReLU 等。
  2. 反向传播(损失函数为均方误差):
    定义均方误差损失函数 (L) 为:
    L = 1 2 n ∑ i = 1 n ∥ y i − y ^ i ∥ 2 L = \frac{1}{2n}\sum_{i=1}^{n}\|y_i - \hat{y}_i\|^2 L=2n1i=1nyiy^i2
    其中,

    • ( n n n) 是样本数量,
    • ( y i y_i yi) 是第 (i) 个样本的真实值,
    • ( y ^ i \hat{y}_i y^i) 是第 ( i i i) 个样本的预测值。

    BP神经网络的目标是最小化损失函数 ( L L L),通过梯度下降法更新权重和偏置以减小误差。

粒子群优化算法部分

在粒子群优化算法中,每个粒子代表一组权重和偏置,即 BP 神经网络的一个解。在优化过程中,每个粒子的位置和速度不断更新,以找到最优的权重和偏置组合,从而最小化 BP 神经网络的损失函数。

假设第 ( i i i) 个粒子的位置为 ( x i x_i xi),速度为 ( v i v_i vi),个体最优位置为 ( p i p_i pi),全局最优位置为 ( p g p_g pg)。粒子更新的公式为:

v i ( t + 1 ) = ω v i ( t ) + c 1 r 1 ( p i − x i ) + c 2 r 2 ( p g − x i ) v_i(t+1) = \omega v_i(t) + c_1r_1(p_i - x_i) + c_2r_2(p_g - x_i) vi(t+1)=ωvi(t)+c1r1(pixi)+c2r2(pgxi)
x i ( t + 1 ) = x i ( t ) + v i ( t + 1 ) x_i(t+1) = x_i(t) + v_i(t+1) xi(t+1)=xi(t)+vi(t+1)

其中,

  • (t) 是迭代次数,
  • ( ω \omega ω) 是惯性权重,控制粒子的惯性,
  • ( c 1 c_1 c1) 和 ( c 2 c_2 c2) 是学习因子,分别控制个体和全局的权重,
  • ( r 1 r_1 r1) 和 ( r 2 r_2 r2) 是随机数,用于增加随机性。

在每一次迭代中,通过计算粒子的适应度函数(即 BP 神经网络的损失函数),找到个体最优位置 (p_i) 和全局最优位置 (p_g),并更新粒子的速度和位置,直到达到停止条件(例如迭代次数达到预定值)为止。

通过以上的粒子群优化过程,每个粒子逐渐趋向于全局最优解,从而找到了最优的 BP 神经网络权重和偏置组合,以提高数据回归预测的性能。

3.文件结构

在这里插入图片描述

fun.m							% 适应度值计算
main.m							% 主函数
数据集.xlsx						% 可替换数据集

4.Excel数据

在这里插入图片描述

5.分块代码

5.1 fun.m

function error = fun(pop, hiddennum, net, p_train, t_train)

%% 节点个数

inputnum  = size(p_train, 1);  % 输入层节点数
outputnum = size(t_train, 1);  % 输出层节点数

%% 提取权值和阈值

w1 = pop(1 : inputnum * hiddennum);
B1 = pop(inputnum * hiddennum + 1 : inputnum * hiddennum + hiddennum);
w2 = pop(inputnum * hiddennum + hiddennum + 1 : ...
    inputnum * hiddennum + hiddennum + hiddennum * outputnum);
B2 = pop(inputnum * hiddennum + hiddennum + hiddennum * outputnum + 1 : ...
    inputnum * hiddennum + hiddennum + hiddennum * outputnum + outputnum);

%% 网络赋值

net.Iw{1, 1} = reshape(w1, hiddennum, inputnum );
net.Lw{2, 1} = reshape(w2, outputnum, hiddennum);
net.b{1}     = reshape(B1, hiddennum, 1);
net.b{2}     = B2';

%% 网络训练

net = train(net, p_train, t_train);

%% 仿真测试

t_sim1 = sim(net, p_train);

%% 适应度值

error = sum(sqrt(sum((t_sim1 - t_train) .^ 2) ./ length(t_sim1)));

5.2 main.m

%% 清空环境变量

warning off             % 关闭报警信息
close all               % 关闭开启的图窗
clear                   % 清空变量
clc                     % 清空命令行

%% 导入数据

res = xlsread('数据集.xlsx');

%% 划分训练集和测试集

temp = randperm(103);

P_train = res(temp(1: 80), 1: 7)';
T_train = res(temp(1: 80), 8)';
M = size(P_train, 2);

P_test = res(temp(81: end), 1: 7)';
T_test = res(temp(81: end), 8)';
N = size(P_test, 2);

%% 数据归一化

[p_train, ps_input] = mapminmax(P_train, 0, 1);
p_test = mapminmax('apply', P_test, ps_input);

[t_train, ps_output] = mapminmax(T_train, 0, 1);
t_test = mapminmax('apply', T_test, ps_output);

%% 节点个数

inputnum  = size(p_train, 1);  % 输入层节点数
hiddennum = 5;                 % 隐藏层节点数
outputnum = size(t_train, 1);  % 输出层节点数

%% 建立网络

net = newff(p_train, t_train, hiddennum);

%% 设置训练参数

net.trainParam.epochs     = 1000;      % 训练次数
net.trainParam.goal       = 1e-6;      % 目标误差
net.trainParam.lr         = 0.01;      % 学习率
net.trainParam.showWindow = 0;         % 关闭窗口

%% 参数初始化

c1      = 4.494;       % 学习因子
c2      = 4.494;       % 学习因子
maxgen  =   30;        % 种群更新次数  
sizepop =    5;        % 种群规模
Vmax    =  1.0;        % 最大速度
Vmin    = -1.0;        % 最小速度
popmax  =  1.0;        % 最大边界
popmin  = -1.0;        % 最小边界

%% 节点总数

numsum = inputnum * hiddennum + hiddennum + hiddennum * outputnum + outputnum;

for i = 1 : sizepop
    pop(i, :) = rands(1, numsum);  % 初始化种群
    V(i, :) = rands(1, numsum);    % 初始化速度
    fitness(i) = fun(pop(i, :), hiddennum, net, p_train, t_train);
end

%% 个体极值和群体极值

[fitnesszbest, bestindex] = min(fitness);
zbest = pop(bestindex, :);     % 全局最佳
gbest = pop;                   % 个体最佳
fitnessgbest = fitness;        % 个体最佳适应度值
BestFit = fitnesszbest;        % 全局最佳适应度值

%% 迭代寻优

for i = 1: maxgen
    for j = 1: sizepop
        
        % 速度更新
        V(j, :) = V(j, :) + c1 * rand * (gbest(j, :) - pop(j, :)) + c2 * rand * (zbest - pop(j, :));
        V(j, (V(j, :) > Vmax)) = Vmax;
        V(j, (V(j, :) < Vmin)) = Vmin;
        
        % 种群更新
        pop(j, :) = pop(j, :) + 0.2 * V(j, :);
        pop(j, (pop(j, :) > popmax)) = popmax;
        pop(j, (pop(j, :) < popmin)) = popmin;
        
        % 自适应变异
        pos = unidrnd(numsum);
        if rand > 0.85
            pop(j, pos) = rands(1, 1);
        end
        
        % 适应度值
        fitness(j) = fun(pop(j, :), hiddennum, net, p_train, t_train);

    end
    
    for j = 1 : sizepop

        % 个体最优更新
        if fitness(j) < fitnessgbest(j)
            gbest(j, :) = pop(j, :);
            fitnessgbest(j) = fitness(j);
        end

        % 群体最优更新 
        if fitness(j) < fitnesszbest
            zbest = pop(j, :);
            fitnesszbest = fitness(j);
        end

    end

    BestFit = [BestFit, fitnesszbest];    
end

%% 提取最优初始权值和阈值

w1 = zbest(1 : inputnum * hiddennum);
B1 = zbest(inputnum * hiddennum + 1 : inputnum * hiddennum + hiddennum);
w2 = zbest(inputnum * hiddennum + hiddennum + 1 : inputnum * hiddennum ...
    + hiddennum + hiddennum * outputnum);
B2 = zbest(inputnum * hiddennum + hiddennum + hiddennum * outputnum + 1 : ...
    inputnum * hiddennum + hiddennum + hiddennum * outputnum + outputnum);

%% 最优值赋值

net.Iw{1, 1} = reshape(w1, hiddennum, inputnum);
net.Lw{2, 1} = reshape(w2, outputnum, hiddennum);
net.b{1}     = reshape(B1, hiddennum, 1);
net.b{2}     = B2';

%% 打开训练窗口

net.trainParam.showWindow = 1;        % 打开窗口

%% 网络训练

net = train(net, p_train, t_train);

%% 仿真预测

t_sim1 = sim(net, p_train);
t_sim2 = sim(net, p_test );

%% 数据反归一化

T_sim1 = mapminmax('reverse', t_sim1, ps_output);
T_sim2 = mapminmax('reverse', t_sim2, ps_output);

%% 均方根误差

error1 = sqrt(sum((T_sim1 - T_train).^2, 2)' ./ M);
error2 = sqrt(sum((T_sim2 - T_test) .^2, 2)' ./ N);

%% 绘图

figure
plot(1: M, T_train, 'r-*', 1: M, T_sim1, 'b-o', 'LineWidth', 1)
legend('真实值', '预测值')
xlabel('预测样本')
ylabel('预测结果')
string = {'训练集预测结果对比'; ['RMSE=' num2str(error1)]};
title(string)
xlim([1, M])
grid

figure
plot(1: N, T_test, 'r-*', 1: N, T_sim2, 'b-o', 'LineWidth', 1)
legend('真实值', '预测值')
xlabel('预测样本')
ylabel('预测结果')
string = {'测试集预测结果对比'; ['RMSE=' num2str(error2)]};
title(string)
xlim([1, N])
grid

%% 误差曲线迭代图

figure;
plot(1 : length(BestFit), BestFit, 'LineWidth', 1.5);
xlabel('粒子群迭代次数');
ylabel('适应度值');
xlim([1, length(BestFit)])
string = {'模型迭代误差变化'};
title(string)
grid on

%% 相关指标计算

%  R2
R1 = 1 - norm(T_train - T_sim1)^2 / norm(T_train - mean(T_train))^2;
R2 = 1 - norm(T_test -  T_sim2)^2 / norm(T_test -  mean(T_test ))^2;

disp(['训练集数据的R2为:', num2str(R1)])
disp(['测试集数据的R2为:', num2str(R2)])

%  MAE
mae1 = sum(abs(T_sim1 - T_train), 2)' ./ M ;
mae2 = sum(abs(T_sim2 - T_test ), 2)' ./ N ;

disp(['训练集数据的MAE为:', num2str(mae1)])
disp(['测试集数据的MAE为:', num2str(mae2)])

%  MBE
mbe1 = sum(T_sim1 - T_train, 2)' ./ M ;
mbe2 = sum(T_sim2 - T_test , 2)' ./ N ;

disp(['训练集数据的MBE为:', num2str(mbe1)])
disp(['测试集数据的MBE为:', num2str(mbe2)])

6.完整代码

6.1 fun.m

function error = fun(pop, hiddennum, net, p_train, t_train)

%%  节点个数
inputnum  = size(p_train, 1);  % 输入层节点数
outputnum = size(t_train, 1);  % 输出层节点数

%%  提取权值和阈值
w1 = pop(1 : inputnum * hiddennum);
B1 = pop(inputnum * hiddennum + 1 : inputnum * hiddennum + hiddennum);
w2 = pop(inputnum * hiddennum + hiddennum + 1 : ...
    inputnum * hiddennum + hiddennum + hiddennum * outputnum);
B2 = pop(inputnum * hiddennum + hiddennum + hiddennum * outputnum + 1 : ...
    inputnum * hiddennum + hiddennum + hiddennum * outputnum + outputnum);
 
%%  网络赋值
net.Iw{1, 1} = reshape(w1, hiddennum, inputnum );
net.Lw{2, 1} = reshape(w2, outputnum, hiddennum);
net.b{1}     = reshape(B1, hiddennum, 1);
net.b{2}     = B2';

%%  网络训练
net = train(net, p_train, t_train);

%%  仿真测试
t_sim1 = sim(net, p_train);

%%  适应度值
error = sum(sqrt(sum((t_sim1 - t_train) .^ 2) ./ length(t_sim1)));

6.2 main.m

%%  清空环境变量
warning off             % 关闭报警信息
close all               % 关闭开启的图窗
clear                   % 清空变量
clc                     % 清空命令行

%%  导入数据
res = xlsread('数据集.xlsx');

%%  划分训练集和测试集
temp = randperm(103);

P_train = res(temp(1: 80), 1: 7)';
T_train = res(temp(1: 80), 8)';
M = size(P_train, 2);

P_test = res(temp(81: end), 1: 7)';
T_test = res(temp(81: end), 8)';
N = size(P_test, 2);

%%  数据归一化
[p_train, ps_input] = mapminmax(P_train, 0, 1);
p_test = mapminmax('apply', P_test, ps_input);

[t_train, ps_output] = mapminmax(T_train, 0, 1);
t_test = mapminmax('apply', T_test, ps_output);

%%  节点个数
inputnum  = size(p_train, 1);  % 输入层节点数
hiddennum = 5;                 % 隐藏层节点数
outputnum = size(t_train, 1);  % 输出层节点数

%%  建立网络
net = newff(p_train, t_train, hiddennum);

%%  设置训练参数
net.trainParam.epochs     = 1000;      % 训练次数
net.trainParam.goal       = 1e-6;      % 目标误差
net.trainParam.lr         = 0.01;      % 学习率
net.trainParam.showWindow = 0;         % 关闭窗口

%%  参数初始化
c1      = 4.494;       % 学习因子
c2      = 4.494;       % 学习因子
maxgen  =   30;        % 种群更新次数  
sizepop =    5;        % 种群规模
Vmax    =  1.0;        % 最大速度
Vmin    = -1.0;        % 最小速度
popmax  =  1.0;        % 最大边界
popmin  = -1.0;        % 最小边界

%%  节点总数
numsum = inputnum * hiddennum + hiddennum + hiddennum * outputnum + outputnum;

for i = 1 : sizepop
    pop(i, :) = rands(1, numsum);  % 初始化种群
    V(i, :) = rands(1, numsum);    % 初始化速度
    fitness(i) = fun(pop(i, :), hiddennum, net, p_train, t_train);
end

%%  个体极值和群体极值
[fitnesszbest, bestindex] = min(fitness);
zbest = pop(bestindex, :);     % 全局最佳
gbest = pop;                   % 个体最佳
fitnessgbest = fitness;        % 个体最佳适应度值
BestFit = fitnesszbest;        % 全局最佳适应度值

%%  迭代寻优
for i = 1: maxgen
    for j = 1: sizepop
        
        % 速度更新
        V(j, :) = V(j, :) + c1 * rand * (gbest(j, :) - pop(j, :)) + c2 * rand * (zbest - pop(j, :));
        V(j, (V(j, :) > Vmax)) = Vmax;
        V(j, (V(j, :) < Vmin)) = Vmin;
        
        % 种群更新
        pop(j, :) = pop(j, :) + 0.2 * V(j, :);
        pop(j, (pop(j, :) > popmax)) = popmax;
        pop(j, (pop(j, :) < popmin)) = popmin;
        
        % 自适应变异
        pos = unidrnd(numsum);
        if rand > 0.85
            pop(j, pos) = rands(1, 1);
        end
        
        % 适应度值
        fitness(j) = fun(pop(j, :), hiddennum, net, p_train, t_train);

    end
    
    for j = 1 : sizepop

        % 个体最优更新
        if fitness(j) < fitnessgbest(j)
            gbest(j, :) = pop(j, :);
            fitnessgbest(j) = fitness(j);
        end

        % 群体最优更新 
        if fitness(j) < fitnesszbest
            zbest = pop(j, :);
            fitnesszbest = fitness(j);
        end

    end

    BestFit = [BestFit, fitnesszbest];    
end

%%  提取最优初始权值和阈值
w1 = zbest(1 : inputnum * hiddennum);
B1 = zbest(inputnum * hiddennum + 1 : inputnum * hiddennum + hiddennum);
w2 = zbest(inputnum * hiddennum + hiddennum + 1 : inputnum * hiddennum ...
    + hiddennum + hiddennum * outputnum);
B2 = zbest(inputnum * hiddennum + hiddennum + hiddennum * outputnum + 1 : ...
    inputnum * hiddennum + hiddennum + hiddennum * outputnum + outputnum);

%%  最优值赋值
net.Iw{1, 1} = reshape(w1, hiddennum, inputnum);
net.Lw{2, 1} = reshape(w2, outputnum, hiddennum);
net.b{1}     = reshape(B1, hiddennum, 1);
net.b{2}     = B2';

%%  打开训练窗口 
net.trainParam.showWindow = 1;        % 打开窗口

%%  网络训练
net = train(net, p_train, t_train);

%%  仿真预测
t_sim1 = sim(net, p_train);
t_sim2 = sim(net, p_test );

%%  数据反归一化
T_sim1 = mapminmax('reverse', t_sim1, ps_output);
T_sim2 = mapminmax('reverse', t_sim2, ps_output);

%%  均方根误差
error1 = sqrt(sum((T_sim1 - T_train).^2, 2)' ./ M);
error2 = sqrt(sum((T_sim2 - T_test) .^2, 2)' ./ N);

%%  绘图
figure
plot(1: M, T_train, 'r-*', 1: M, T_sim1, 'b-o', 'LineWidth', 1)
legend('真实值', '预测值')
xlabel('预测样本')
ylabel('预测结果')
string = {'训练集预测结果对比'; ['RMSE=' num2str(error1)]};
title(string)
xlim([1, M])
grid

figure
plot(1: N, T_test, 'r-*', 1: N, T_sim2, 'b-o', 'LineWidth', 1)
legend('真实值', '预测值')
xlabel('预测样本')
ylabel('预测结果')
string = {'测试集预测结果对比'; ['RMSE=' num2str(error2)]};
title(string)
xlim([1, N])
grid

%%  误差曲线迭代图
figure;
plot(1 : length(BestFit), BestFit, 'LineWidth', 1.5);
xlabel('粒子群迭代次数');
ylabel('适应度值');
xlim([1, length(BestFit)])
string = {'模型迭代误差变化'};
title(string)
grid on

%%  相关指标计算
%  R2
R1 = 1 - norm(T_train - T_sim1)^2 / norm(T_train - mean(T_train))^2;
R2 = 1 - norm(T_test -  T_sim2)^2 / norm(T_test -  mean(T_test ))^2;

disp(['训练集数据的R2为:', num2str(R1)])
disp(['测试集数据的R2为:', num2str(R2)])

%  MAE
mae1 = sum(abs(T_sim1 - T_train), 2)' ./ M ;
mae2 = sum(abs(T_sim2 - T_test ), 2)' ./ N ;

disp(['训练集数据的MAE为:', num2str(mae1)])
disp(['测试集数据的MAE为:', num2str(mae2)])

%  MBE
mbe1 = sum(T_sim1 - T_train, 2)' ./ M ;
mbe2 = sum(T_sim2 - T_test , 2)' ./ N ;

disp(['训练集数据的MBE为:', num2str(mbe1)])
disp(['测试集数据的MBE为:', num2str(mbe2)])

7.运行结果

【Matlab】基于粒子群优化算法优化BP神经网络的数据回归预测(Excel可直接替换数据)_第1张图片
【Matlab】基于粒子群优化算法优化BP神经网络的数据回归预测(Excel可直接替换数据)_第2张图片
【Matlab】基于粒子群优化算法优化BP神经网络的数据回归预测(Excel可直接替换数据)_第3张图片

你可能感兴趣的:(#,智能优化算法实战,算法,matlab,神经网络)