前馈神经网络BPNN简单实现

分为4个步骤

初始化

使用随机函数分配权重，和偏置，除了输入层之外，都需要加入偏置。

计算输出

计算每个神经元的输出结果

计算误差

输出层的误差计算

中间层的误差计算

调整权重和偏置

其中 L为学习率，可以设置为0.9，接下来调整权重

实现

matlab实现代码如下

%% 简单前馈神经网络

% 初始化权重和偏置
W12=rand([3,2]);
W23=rand([2,1]);

B12=rand([1,2]);
B23=rand([1,1]);
% 输出
input=[1,0,1];

for i=1:1000
    % 计算输出
    S2=input*W12+B12;
    O2=(1+exp(-S2)).^-1;
    S3=O2*W23+B23;
    O3=(1+exp(-S3)).^-1;

    % 计算误差
    E3=O3.*(1-O3).*(1-O3);
    E2=O2.*(1-O2).*(sum(W23*E3,2).'); 

    % 调整
    W23=W23+(0.9)*O3.*E3;
    W12=W12+(0.9)*O2.*E2;

    B12=B12+(0.9)*E2;
    B23=B23+(0.9)*E3;
end