基于BP人工神经网络的数字字符识别及MATLAB实现

应用背景：在模式识别中，有一种高实用性的分类方法，就是人工神经网络，它被成功应用于智能机器人、自动控制、语音识别、预测估计、生物、医学、经济等领域，解决了许多其他分类方法难以解决的实际问题。这得益于神经网络的模型比较多，可针对不同的问题使用相应的神经网络模型，这里使用BP神经网络解决手写的数字字符识别问题。

BP神经网络基本原理概述：这种网络模型利用误差反向传播训练算法模型，能够很好地解决多层网络中隐含层神经元连接权值系数的学习问题，它的特点是信号前向传播、误差反向传播，简称BP（Back  Propagation）神经网络。BP学习算法的基本原理是梯度最快下降法，即通过调整权值使网络总误差最小，在信号前向传播阶段，输入信号经输入层处理再经隐含层处理最后传向输出层处理；在误差反向传播阶段，将输出层输出的信号值与期望输出信号值比较得到误差，若误差较大则把误差信号传回隐含层直至输入层，在各层神经元中使用误差信号修改权值系数，之后进入下一轮迭代，如此循环直至误差最小，实际输出信号值接近期望输出信号值。下图为三层BP神经网络模型：

                                                                                                          

它包括输入层、1层隐含层、输出层，是一种最简单的BP神经网络模型。用这个模型解决手写的数字字符识别问题的MATLAB代码如下：

%三层BP神经网络应用于字符识别
clc;  
clear all;  
close all;  
Files= dir('C:\Program Files\MATLAB\R2013a\bin\work\CNN数字字符识别1\data');  
LengthFiles= length(Files);  
%========读取存在data文件夹下0-10个文件的全部图片========%  
for i = 3:LengthFiles;     
    if strcmp(Files(i).name,'.')||strcmp(Files(i).name,'..')  
    else  
       rootpath=strcat('C:\Program Files\MATLAB\R2013a\bin\work\CNN数字字符识别1\data','\',Files(i).name);
       filelist=dir(rootpath);  
       [filenum,temp]=size(filelist);  
       count=0;  
       imglist=cell(0);  
       for j=1:filenum      
           if strcmp(filelist(j).name,'.')|| strcmp(filelist(j).name,'..')||strcmp(filelist(j).name,'Desktop_1.ini')||strcmp(filelist(j).name,'Desktop_2.ini')         
           else  
              count=count+1;  
            imglist{count}=imread(strcat(rootpath,'/',filelist(j).name));  
           end  
       end
       number{i-2}=imglist;
    end   
end  
charvec1=zeros(35,5000);  
%========对读取的图片预处理（二值化-裁剪-特征提取）========%  
 for i=1:10  
     for j=1:500  
        I1=number{1,i}{1,j}; %第i个文件夹的第j张图 
        img_bw = im2bw(I1,graythresh(I1));  %灰度图转二值图
        bw_7050=imresize(img_bw,[70,50]);
        %提取特征统计每个小区域中图像象素所占百分比作为特征数据
        for cnt=1:7
            for cnt2=1:5
              Atemp=sum(bw_7050(((cnt*10-9):(cnt*10)),((cnt2*10-9):(cnt2*10))));%10*10box对矩阵所有元素求和，共100个像素
              lett((cnt-1)*5+cnt2)=sum(Atemp);%按行求和
            end
        end
        lett=((100-lett)/100);
        lett=lett';
        charvec1(:,(i-1)*500+j)=lett;  
     end  
 end  
 %每个样本对应的类标签向量
label=[zeros(1,500),zeros(1,500)+1,...  
   zeros(1,500)+2,zeros(1,500)+3,zeros(1,500)+4,zeros(1,500)+5,zeros(1,500)+6,zeros(1,500)+7,zeros(1,500)+8,zeros(1,500)+9];  
charvec1(36,:)=label;  
%输入输出数据  
input=charvec1(1:35,:);  
output1=charvec1(36,:); %目标输出类标签    
%把输出从1维变成10维  
for i=1:5000  
    switch output1(i)  
        case 0  
            output(:,i)=[1 0 0 0 0 0 0 0 0 0]';  
        case 1  
            output(:,i)=[0 1 0 0 0 0 0 0 0 0]';  
        case 2  
            output(:,i)=[0 0 1 0 0 0 0 0 0 0]';  
        case 3  
            output(:,i)=[0 0 0 1 0 0 0 0 0 0]';  
        case 4  
            output(:,i)=[0 0 0 0 1 0 0 0 0 0]';  
        case 5  
            output(:,i)=[0 0 0 0 0 1 0 0 0 0]';  
        case 6  
            output(:,i)=[0 0 0 0 0 0 1 0 0 0]';  
        case 7  
            output(:,i)=[0 0 0 0 0 0 0 1 0 0]';  
        case 8  
            output(:,i)=[0 0 0 0 0 0 0 0 1 0]';  
        case 9  
            output(:,i)=[0 0 0 0 0 0 0 0 0 1]';  
    end  
end    
 %=========BP神经网络创建，训练和测试========%   
%% 网络结构初始化  
innum=35;  %输入层的输入维数
midnum=80;  %中间隐含层的维数
outnum=10;  %输出层的输出维数 
%提取450个样本为训练样本
input_train=input(:,1:450); 
T=output(:,1:450); 
%权值初始化  
Wij=rands(midnum,innum);%输入到隐含层的权重向量  
b1=rands(midnum,1);  %偏值或阈值
Wki=rands(outnum,midnum);%隐含层到输出层的权重向量  
b2=rands(outnum,1); %偏值或阈值 
Ir=0.05;err_goal=0.001;  %Ir为学习速率，err_goal为期望误差最小值
max_epoch=1000;a=0.9;  %训练的最大次数，a为惯性系数  
Oi=0;Ok=0;  %初始化隐含层的输出值为0；初始化输出层的输出值为0
[M,N]=size(input_train);
Wij0=zeros(midnum,M);Wki0=zeros(outnum,midnum);
%第一阶段，模型训练期：根据加权系数Wij，Wki，对给定的样本计算输出
for epoch=1:max_epoch
    %计算隐含层各神经元节点输出
    for i=1:N
        NETi(:,i)=Wij*input_train(:,i)+b1; 
    end
    for j=1:N
        for i=1:midnum
                 Oi(i,j)=1/(1+exp(double(-NETi(i,j))));%激励函数
        end
    end 
    %计算输出层各神经元节点输出
    for i=1:N
         NETk(:,i)=Wki*Oi(:,i)+b2;
    end
    for i=1:N
        for k=1:outnum
                 Ok(k,i)=1/(1+exp(double(-NETk(k,i))));%激励函数
        end
    end
    %计算误差函数：方差    
    E=( (T-Ok)' * (T-Ok) );
    err=abs(E)>err_goal;
    if sum(sum(err))==0
       break;
    end
    %调整输出层加权系数，引入惯性项即最近一次历史权值，也就是上一次迭代的权值
    delta_k=Ok.*(1-Ok).*(T-Ok);
    W=Wki;
    Wki=Wki + Ir*delta_k*Oi' + a*(Wki-Wki0);
    Wki0=W;
    %调整隐含层加权系数，引入惯性项
    delta_i=Oi.*(1-Oi).*(delta_k' * Wki)';
    W=Wij;
    Wij=Wij+Ir*delta_i* input_train'+ a*(Wij-Wij0);
    Wij0=W;
end
epoch   %显示训练次数
%第二阶段，测试期：根据训练好的加权系数Wij，Wki，对给定的输入计算输出
input_test=input(:,451);%给定输入
X1=input_test;
output_test=output(:,451);
[M,N]=size(X1);
Oi=0;Ok=0;
%计算隐含层各神经元节点输出
for i=1:N
	 NETi1(:,i)=Wij*X1(:,i)+b1; 
end
for j=1:N
        for i=1:midnum           
            Oi(i,j)=1/(1+exp(double(-NETi1(i,j))));%激励函数
        end
end
%计算输出层各神经元节点输出
for i=1:N
    NETk1(:,i)=Wki*Oi(:,i)+b2;  
end
for i=1:N
        for k=1:outnum
            Ok(k,i)=1/(1+exp(double(-NETk1(k,i))));%激励函数
        end
end
output_test'    %显示网络输出层的期望输出
Ok'   %显示网络输出层的实际输出

程序中使用450张写了数字“0”的图片作为训练样本以及1张写了数字“0”的图片作为测试样本，运行结果如下图

从运行结果看，模型训练了2次就成功，识别率高，为0.99。