三层 BP 神经网络 matlab 实现

最近研究神经网络。BP网络是最经典最常用的神经网络。Matlab 有专门的工具箱用来实现 BP 算法。我用matlab语言重新实现BP算法，以便加深对该算法的理解程度。程序有点粗糙，只是为了实现算法。当然可以加上一些绘图命令来可视化神经网络学习过程。

% BP net R^m->R^h->R^n
% 
sigmoid=@(x)1./(1+exp(-x));
% input : X,T
%x1=linspace(-1,1,5);x2=x1;
%[x2,x1]=meshgrid(x2,x1);
%X=[x1(:).';x2(:).'];
%T=sigmoid(3*X(1,:)+2*X(2,:)-1);
X=[[1;1],[1;0],[0;1],[0;0]];T=[1,0,0,0];

% parameters
[m,N]=size(X);h=3;[n,M]=size(T); % N==M
tol=1e-4;
lr=0.2;    % learning rate

% initial value
W=rand(h,m);theta=rand(h,1);
V=rand(n,h);eta=rand(n,1);

% algorithm
Z=sigmoid(W*X-repmat(theta,1,N));
Y=V*Z-repmat(eta,1,N);
E=T-Y;
k=0;
%DW0=rand(1,m);DT0=0;
%Da0=0;Db0=0;
while(norm(E,'fro')>tol&&k<30000)
    % lr=0.01/(1+k/500);
    V=V+lr*(T-Y)*Z.';
    eta=eta-lr*sum(T-Y,2);
    D=V.'*(T-Y);
    W=W+lr*(D.*Z.*(1-Z))*X.';
    theta=theta-lr*sum(D.*Z.*(1-Z),2);
    
    Z=sigmoid(W*X-repmat(theta,1,N));
    Y=V*Z-repmat(eta,1,N);
    E=T-Y;
    k=k+1;
end

% output
norm(E,'fro')