基于Fisher线性判别分析的手写数字识别

基于Fisher线性判别分析的手写数字识别

<1>Fisher算法简介：
为简单起见，我们以两类问题1和2的分类来说明Fisher判别法的原理，看下面的图，为识别w1类和w2类，通过选择适当的投影方向可以比较好的分开这两类，Fisher线性判别的思想就是选择投影方向，使投影后的两类相隔尽可能的远，而同时每一类内部的样本又尽可能聚集。关键是找出那个最佳的投影方向。

我们假设w1共有N1个样本，w2共有N2个样本，N= N1+N2。两个类别在输入空间的均值向量为：

各类的类内离散度矩阵为:

总类内离散度矩阵为:

根据Fisher算法的思想，要使两类投影后两类尽可能分开，而各类内部又尽可能聚集，最优的投影方向即为：

确定投影方向之后，再确定一个分类阈值Wo，并采取决策规则：

在自己的实验中，样本的数量肯定是有限的，可以将分类阈值定为：

判别的决策就改为：

<2>基于Fisher线性判别实现数字识别的想法：
根据Fisher算法可以实现两类的识别，数字识别为多类识别，我们可以通过多个两类分类器来实现。具体的算法是先从1开始逐个与比它大的数字比较，当遇到比1更加匹配输入的数字是则将1排除，而改为从2开始逐个与比它大的数比较，由此进行到找出最匹配的数字为止。

<3>数字特征的提取
利用Fisher线性判别时，每一类都对应着一个特征线性向量，不同的类之间对应的向量也是有差别的，Fisher就是找出这些特征向量的最优投影方向，使之在投影方向上能够有最大间距。

特征有很多不同的提取方法，本实验采取的是将手写数字图片二值化，再讲二值化图片分割为7×7块，计算每块内的像素点不为0的百分比，这样就可以构成一个49维的特征向量。

本人使用了Matlab作为研究平台，设计了一个gui界面（可以手写输入数字），采用Fisher线性识别，样本是已经采集好的。

部分Matlab代码如下：
<1>         *********手写数字matlab实现（部分）*************
%%手写输入程序

%鼠标按下
function figure_patten_WindowButtonDownFcn(hObject, eventdata, handles)
% hObject    handle to figure_patten (see GCBO)
% eventdata  reserved - to be defined in a future version of MATLAB
% handles    structure with handles and user data (see GUIDATA)
global draw_enable     %定义一个标志，1表示绘图，0表示停止绘图
global x;
global y;
global h1;
imSize=10;
draw_enable=1;

axis([1 imSize 1 imSize]);  %设定axes1大小

       % grid on;
      %  box on; 
if draw_enable==1
    p=get(gca,'currentpoint');          %鼠标按下,获取当前坐标
    x(1)=p(1);         
    y(1)=p(3);  
end

%鼠标移动
function figure_patten_WindowButtonMotionFcn(hObject, eventdata, handles)
% hObject    handle to figure_patten (see GCBO)
% eventdata  reserved - to be defined in a future version of MATLAB
% handles    structure with handles and user data (see GUIDATA)
axes(handles.axes1);
global draw_enable;
global x;
global y;
global h1;
p=get(gca,'currentpoint');
if draw_enable==1
  x(2)=p(1);          %鼠标第一次移动后的坐标为x(2),y(2)
    y(2)=p(3);   

x_gap = 0.1;    % 定义x方向增量
        y_gap = 0.1;    % 定义y方向增量
        if x(2) > x(1)
            step_x = x_gap;
        else
            step_x = -x_gap;
        end
        if y(2) > y(1)
            step_y = y_gap;
        else
            step_y = -y_gap;
        end  
        % 定义x,y的变化范围和步长
        if abs(x(2)-x(1)) < 0.01        % 线平行于y轴，即斜率不存在时
            iy = y(1):step_y:y(2);
            ix = x(2).*ones(1,size(iy,2));
        else
            ix = x(1):step_x:x(2) ;    % 定义x的变化范围和步长
            % 当斜率存在，即k = (Y-InitialY)/(X-InitialX) ~= 0
            iy = (y(2)-y(1))/(x(2)-x(1)).*(ix-x(1))+y(1);   
        end
        ImageX = [ix, x(2)]; 
        ImageY = cat(2, iy, y(2));
       h1= line(ImageX,ImageY, 'marker', '.', 'markerSize',8, ...
            'LineStyle', '-', 'LineWidth', 4, 'Color', 'Red');
        dlmwrite('IXT.txt', ImageX, '-append', 'delimiter', '\t', 'precision', 6);
        dlmwrite('IYT.txt', ImageY, '-append', 'delimiter', '\t', 'precision', 6);
        x(1) = x(2);       %记住当前点坐标
        y(1) = y(2);       %记住当前点坐标   

end

%鼠标松开
function figure_patten_WindowButtonUpFcn(hObject, eventdata, handles)
% hObject    handle to figure_patten (see GCBO)
% eventdata  reserved - to be defined in a future version of MATLAB
% handles    structure with handles and user data (see GUIDATA)
global draw_enable;
draw_enable=0;
<2>         **********Fisher识别按钮程序************
%%Fisher识别按钮
function pushbutton6_Callback(hObject, eventdata, handles)
% hObject    handle to pushbutton6 (see GCBO)
% eventdata  reserved - to be defined in a future version of MATLAB
% handles    structure with handles and user data (see GUIDATA)
pix=getframe(handles.axes1);    %获取axes1中的图像数据（手写的数字）

bw=rgb2gray(pix.cdata);     %灰度化
level=graythresh(bw);   



bw = im2bw(bw,level);   %二值化
imwrite(bw,'outfile.jpg','jpg');    %保存图像为JPG格式
axes(handles.axes2);

%剪切图像
[y2temp x2temp] = size(bw);     
x1=1;
y1=1;
x2=x2temp;
y2=y2temp;

% Finding left side blank spaces
cntB=1;
while (sum(bw(:,cntB))==y2temp)
    x1=x1+1;
    cntB=cntB+1;
end

% Finding right side blank spaces
cntB=1;
while (sum(bw(cntB,:))==x2temp)
    y1=y1+1;
    cntB=cntB+1;
end

% Finding upper side blank spaces
cntB=x2temp;
while (sum(bw(:,cntB))==y2temp)
    x2=x2-1;
    cntB=cntB-1;
end

% Finding lower side blank spaces
cntB=y2temp;
while (sum(bw(cntB,:))==x2temp)
    y2=y2-1;
    cntB=cntB-1;
end

% Crop the image to the edge
bw1=imcrop(bw,[x1,y1,(x2-x1),(y2-y1)]); 
imshow(bw1);

setappdata(handles.figure_patten,'bw1',bw1);    %设置变量bw1
global i;
name=strcat('D:\matlab\matlabinstall\bin\image\num',num2str(i),'.jpg');
imwrite(bw1,name,'jpg');    %保存图片，以连续的数字命名，便于样本的保存好提取。
i=i+1;

axes(handles.axes3);    %特征图像显示在aexs3

%特征提取
bw_7050=imresize(bw1,[70,70]);  %分成7*7
for cnt=1:7
    for cnt2=1:7
        Atemp=sum(bw_7050((cnt*10-9:cnt*10),(cnt2*10-9:cnt2*10)));
        lett((cnt-1)*7+cnt2)=sum(Atemp);
    end
end

lett=((100-lett)/100);  %所画图像的特征向量
A=zeros(70,70);
for num1=1:7
    for num2=1:7
        if lett((num1-1)*7+num2)>0.13
            for num3=num1*10-9:num1*10
                for num4=num2*10-9:num2*10
            A(num3,num4)=0;
                end
            end

        else
             for num3=num1*10-9:num1*10
                for num4=num2*10-9:num2*10
            A(num3,num4)=1;
                end
            end

        end
    end
end

imshow(A);

Rchar=Fisher(lett);     %调用识别程序（Fisher判别）
 set(handles.text_result,'String',num2str(Rchar));  %显示识别结果
<3>             *********Fisher()实现************
function  [Rchar]=Fisher(lett)
% 计算样本的先验概率和类条件概率密度
load NUM0.mat
load NUM1.mat
load NUM2.mat
load NUM3.mat
load NUM4.mat
load NUM5.mat
load NUM6.mat
load NUM7.mat
load NUM8.mat
load NUM9.mat       %导入样本

%求样本数
long0=length(NUM0);
long1=length(NUM1);
long2=length(NUM2);
long3=length(NUM3);
long4=length(NUM4);
long5=length(NUM5);
long6=length(NUM6);
long7=length(NUM7);
long8=length(NUM8);
long9=length(NUM9);
%转换数据格式
for i=1:long0
NUM00(i,:)=NUM0{i};
end

for i=1:long1
NUM11(i,:)=NUM1{i};
end

for i=1:long2
NUM22(i,:)=NUM2{i};
end

for i=1:long3
NUM33(i,:)=NUM3{i};
end

for i=1:long4
NUM44(i,:)=NUM4{i};
end

for i=1:long5
NUM55(i,:)=NUM5{i};
end

for i=1:long6
NUM66(i,:)=NUM6{i};
end

for i=1:long7
NUM77(i,:)=NUM7{i};
end

for i=1:long8
NUM88(i,:)=NUM8{i};
end

for i=1:long9
NUM99(i,:)=NUM9{i};
end
%求样本的平均
mean0=mean(NUM00);
mean1=mean(NUM11);
mean2=mean(NUM22);
mean3=mean(NUM33);
mean4=mean(NUM44);
mean5=mean(NUM55);
mean6=mean(NUM66);
mean7=mean(NUM77);
mean8=mean(NUM88);
mean9=mean(NUM99);
%类内离散度Si的计算
S0='0';     %0样本类内离散度
for i=1:long0
    S0=S0+(NUM00(i)-mean0)'*(NUM00(i)-mean0);
end
S{1}=S0;

S1='0';        %1样本类内离散度
for i=1:long1
    S1=S1+(NUM11(i)-mean1)'*(NUM11(i)-mean1);
end
S{2}=S1;

S2='0';     %2样本类内离散度
for i=1:long2
    S2=S2+(NUM22(i)-mean2)'*(NUM22(i)-mean2);
end
S{3}=S2;

S3='0';         %3样本类内离散度
for i=1:long3
    S3=S3+(NUM33(i)-mean3)'*(NUM33(i)-mean3);
end
S{4}=S3;

S4='0';     %4样本类内离散度
for i=1:long4
    S4=S4+(NUM44(i)-mean4)'*(NUM44(i)-mean4);
end
S{5}=S4;

S5='0';     %5样本类内离散度
for i=1:long5
    S5=S5+(NUM55(i)-mean5)'*(NUM55(i)-mean5);
end
S{6}=S5;

S6='0';         %6样本类内离散度
for i=1:long6
    S6=S6+(NUM66(i)-mean6)'*(NUM66(i)-mean6);
end
S{7}=S6;

S7='0';         %7样本类内离散度
for i=1:long7
    S7=S7+(NUM77(i)-mean7)'*(NUM77(i)-mean7);
end
S{8}=S7;

S8='0';         %8样本类内离散度
for i=1:long8
    S8=S8+(NUM88(i)-mean8)'*(NUM88(i)-mean8);
end
S{9}=S8;

S9='0';         %9样本类内离散度
for i=1:long9
    S9=S9+(NUM99(i)-mean9)'*(NUM99(i)-mean9);
end
S{10}=S9;

%%对这10类分别进行两两类识别比较
%求两两类的总类内离散度、类间离散度(45种情况)
M{1}=mean0;
M{2}=mean1;
M{3}=mean2;
M{4}=mean3;
M{5}=mean4;
M{6}=mean5;
M{7}=mean6;
M{8}=mean7;
M{9}=mean8;
M{10}=mean9;
Sw=cell(10,10);
Sb=cell(10,10);
for i=1:9
    for j=i+1:10
        Sw{i,j}=S{i}+S{j};
        Sb{i,j}=(M{i}-M{j})'*(M{i}-M{j});
    end
end

%求两两类判别的阈值，判别函数，最有投影方向。

Wo=zeros(10,10);
W=cell(10,10);
Gx=cell(10,10);
for i=1:9
    for j=i+1:10
       Sw{i,j}=Sw{i,j}+0.0001*eye(49);
        W{i,j}=inv(Sw{i,j})*(M{i}-M{j})';    %最优投影方向
        Gx{i,j}=(W{i,j}')*(lett-0.5*(M{i}+M{j}))';
    end

end
count=1;
k=0;
for i=count:9   %从第1类开始两两比较

    for j=(count+1):10

         if Gx{i,j}<0      %不属于i类，则转为从第i+1类开始比较

             if count==9        %已经确定不是8就是9，则停止继续往下比较（count不再加1）
                 char=10;
             else
             count=count+1;     %转为第i+1类
             k=0;
             break;
             end
         else
             char=count;    %将当前类的序号赋值给变量char
         k=k+1;     % 计算判定的次数

         end

    end
    if k==10-count      %若判定完则跳出循环
        break;
    end
end

switch char-1     %根据变量char求取对应的判别数字
     case 0
         Rchar='0';
     case 1
         Rchar='1';
     case 2
         Rchar='2';
     case 3
         Rchar='3';
     case 4
         Rchar='4';
     case 5
         Rchar='5';
     case 6
         Rchar='6';
     case 7
         Rchar='7';
     case 8
         Rchar='8';
     case 9
         Rchar='9';
 end

<4>         ************添加为样本部分程序*************
dd=str2double(get(handles.edit1,'String'));
h_patten=getappdata(handles.Rightnum,'h_patten');
bw1=getappdata(h_patten.figure_patten,'bw1');
bw_7050=imresize(bw1,[70,70]);%分成7*7
for cnt=1:7
    for cnt2=1:7
        Atemp=sum(bw_7050((cnt*10-9:cnt*10),(cnt2*10-9:cnt2*10)));
        example1((cnt-1)*7+cnt2)=sum(Atemp);
    end
end

example2=((100-example1)/100)
load NUM0.mat
load NUM1.mat
load NUM2.mat
load NUM3.mat
load NUM4.mat
load NUM5.mat
load NUM6.mat
load NUM7.mat
load NUM8.mat
load NUM9.mat



long0=length(NUM0);
long1=length(NUM1);
long2=length(NUM2);
long3=length(NUM3);
long4=length(NUM4);
long5=length(NUM5);
long6=length(NUM6);
long7=length(NUM7);
long8=length(NUM8);
long9=length(NUM9);



switch dd

    case 0
        for i=1:long0;
            NUM0{i}=NUM0{i};
        end
        long0=long0+1;
        NUM0{long0}=example2;
        save('NUM0.mat','NUM0');
    case 1
         for i=1:long1;
            NUM1{i}=NUM1{i};
        end
        long1=long1+1;
        NUM1{long1}=example2;
      save('NUM1.mat','NUM1');
    case 2
         for i=1:long2;
            NUM2{i}=NUM2{i};
        end
        long2=long2+1;
        NUM2{long2}=example2;
        save('NUM2.mat','NUM2');
    case 3
         for i=1:long3;
            NUM3{i}=NUM3{i};
        end
        long3=long3+1;
        NUM3{long3}=example2;
        save('NUM3.mat','NUM3');

    case 4
         for i=1:long4;
            NUM4{i}=NUM4{i};
        end
        long4=long4+1;
        NUM4{long4}=example2;
        save('NUM4.mat','NUM4');

    case 5
         for i=1:long5;
            NUM5{i}=NUM5{i};
        end
        long5=long5+1;
        NUM5{long5}=example2;
        save('NUM5.mat','NUM5');

    case 6
         for i=1:long6;
            NUM6{i}=NUM6{i};
        end
        long6=long6+1;
        NUM6{long6}=example2;
        save('NUM6.mat','NUM6');

    case 7
         for i=1:long7;
            NUM7{i}=NUM7{i};
        end
        long7=long7+1;
        NUM7{long7}=example2;
        save('NUM7.mat','NUM7');

    case 8
         for i=1:long8;
            NUM8{i}=NUM8{i};
        end
        long8=long8+1;
        NUM8{long8}=example2;
        save('NUM8.mat','NUM8');

    case 9
         for i=1:long9;
            NUM9{i}=NUM9{i};
        end
        long9=long9+1;
        NUM9{long9}=example2;
        save('NUM9.mat','NUM9');

end