MATLAB识别实验,Matlab在图像处理与目标识别方面的应用实验

二、汽车牌照定位与字符识别

待处理的图像如下所示。图像整体比较清晰干净，车牌方向端正，字体清楚，与周围颜色的反差较大。

要定位汽车牌照并识别其中的字符，我们采用Matlab平台提供的一些图像处理函数,以傅立叶变换通过字符模板与待处理的图像匹配为核心思想。基本方法如下：

1、读取待处理的图像，将其转化为二值图像。经试验，采用门限值为0.2附近时车牌字符最为清楚，杂点最少(如下左图)。

I = imread('car.jpg');

I2 = rgb2gray(I);

I4 = im2bw(I2, 0.2);

2、去除图像中面积过小的，可以肯定不是车牌的区域。

bw = bwareaopen(I4, 500);

3、为定位车牌，将白色区域膨胀，腐蚀去无关的小物件，包括车牌字符(如下右图)。

se = strel('disk',15);

bw = imclose(bw,se);

4、此时车牌所在白色连通域已清晰可见，但在黑色区域以外，是一个更大的白色连通域，将车牌所在连通域包围了。有必要将其填充。

bw = imfill(bw,[1 1]);

5、查找连通域边界。同时保留此图形，以备后面在它上面做标记。

[B,L] = bwboundaries(bw,4);

imshow(label2rgb(L, @jet, [.5 .5 .5]))

hold on

for k = 1:length(B)

boundary = B{k};

plot(boundary(:,2),boundary(:,1),'w','LineWidth',2)

end

6、找出所有连通域中最可能是车牌的那一个。判断的标准是：测得该车牌的长宽比约为4.5:1，其面积和周长存在关系：(4.5×L×L)/(2×(4.5＋1)×L)2≈1/27，以此为特征，取metric=27*area/perimeter^2作为连通域的匹配度，它越接近1，说明对应的连通域越有可能是4.5:1的矩形。

% 找到每个连通域的质心

stats = regionprops(L,'Area','Centroid');

% 循环历遍每个连通域的边界

for k = 1:length(B)

% 获取一条边界上的所有点

boundary = B{k};

% 计算边界周长

delta_sq = diff(boundary).^2;

perimeter = sum(sqrt(sum(delta_sq,2)));

% 获取边界所围面积

area = stats(k).Area;

% 计算匹配度

metric = 27*area/perimeter^2;

% 要显示的匹配度字串

metric_string = sprintf('%2.2f',metric);

% 标记出匹配度接近1的连通域

if metric >= 0.9 && metric <= 1.1

centroid = stats(k).Centroid;

plot(centroid(1),centroid(2),'ko');

% 提取该连通域所对应在二值图像中的矩形区域

goalboundary = boundary;

s = min(goalboundary, [], 1);

e = max(goalboundary, [], 1);

goal = imcrop(I4,[s(2) s(1) e(2)-s(2) e(1)-s(1)]);

end

% 显示匹配度字串

text(boundary(1,2)-35,boundary(1,1)+13,...

metric_string,'Color','g',...

'FontSize',14,'FontWeight','bold');

end

图示为找到的各个连通区域，中部被标记“○”的矩形匹配度为0.99，是最可能的区域。下边是由它确定的二值图像中的车牌区域：

7、将车牌图像反白处理，并扩充为256×256的方阵(如下左图)，以便下面傅立叶变换中矩阵旋转运算的进行。

goal = ~goal;

goal(256,256) = 0;

figure;

imshow(goal);

8、从文件读取一个字符模板(以“P”为例，模板图像 直接从上述二值图像中截取得到)。对图像计算傅立叶描述子，用预先定义好的决策函数对描述子进行计算。变换后的图像中，亮度的高低指示相应区域与模板的匹配程度(如下中图)。

w = imread('P.bmp');

w = ~w;

C=real(ifft2(fft2(goal).*fft2(rot90(w,2),256,256)));

9、通过检查C的最大值，试验确定一个合适的门限(这里240比较合适)，显示亮度大于该门限的点，也就是与模板的匹配程度最高的位置(如下右图)。

thresh = 240;

figure;

imshow(C > thresh);

对照左右两图，可以说明字符“P”被识别和定位了。同样的方法，可以识别和定位其它字符。

这种方法总体上比较容易理解，Matlab的函数隐藏了傅立叶变换等复杂的计算。缺点：在定位车牌方面，程序专门按本题给定图像的特点设计，没有普适性。字符识别方面，仅能识别与给定模板基本一致的字符。车牌大小、角度、光线、完整性、清晰度发生变化后，就无法识别了。同时对于“8”与“B”这样相似的字符，识别时常常混淆。

* 参考文献：

1、Applications of the Fourier Transform, Matlab 7.0 Help Documents, The MathWorks.

2、Identifying Round Objects, Matlab 7.0 Demos, The MathWorks.

三、基于BP神经网络识别字符的简单实验

汽车牌照定位与字符识别是目标自动识别的一个典型问题。车牌由有限的字母和数字组成，采用固定的印刷字体和排列顺序。在车牌自动识别系统中，因自然因素或采样因素使得原本规则的印刷体字符产生畸变，给字符识别来了很大困难。BP神经网络算法是把一组样本输入输出问题转化为一个非线性优化问题，并通过梯度算法利用迭代运算求解权值的一种学习方法。采用BP网络进行分类，并附加线性感知器来实现单字符的有效识别，算法简便，识别率高，可适用于多种高噪声环境中的印刷体字符识别。

下面的实验引自《神经网络模型及其MATLAB仿真程序设计》一书P94～98，简单起见，只对含有单独数字的图片样本进行识别，不涉及从照片中定位车牌，分割字符等前期处理。我在保持基本算法思想不变的前提下，对原书程序及其叙述做了一定的修改。Matlab源程序略。

一、BP神经网络结构分析：

按照BP神经网络设计方法选用两层BP网络。其输入节点数为16×16＝256，隐层传输函数为Sigmoid函数。假设用一个输出节点表示10个数字，则输出层传输函数为pureline，隐层节点数为 ，取25。

二、神经网络仿真程序设计：

1、构造训练样本集，并构成训练所需的输入矢量和目标矢量：准备10组，每组10个(0～9)数字bmp图片作为训练样本。其中1组为清晰的，这里使用Microsoft Visual C#编程生成。另9组是在清晰样本的基础上，用Matlab添加'salt & pepper'、'gaussian'等噪音制作成的(下图示以“5”为例)。这些图片经过一定的预处理，取出其最大有效区域，归一为16×16的二值图像，作为输入矢量。

2、构造BP神经网络，并根据训练样本集形成的输入矢量和目标矢量，对BP网络进行训练。训练的误差性能曲线如图：

3、对BP神经网络进行仿真。用不同的方法生成测试样本图像，存于另外的bmp文件中，测试结果如下：

测试样本        识别情况

与训练样本完全相同        测试20个样本(2组0～9，皆是训练样本的复本)，100%正确

与训练样本用相同的噪音算法生成        测试20个样本(2组0～9，分别加'salt & pepper'、'gaussian'噪音)，60%正确

在清晰的训练样本基础上用Microsoft Windows 画图工具手工加入杂点        测试20个样本(2组0～9，分别用“喷枪”加黑色与白色随机杂点)，35%正确