基于FPGA的数字识别的实现

欢迎大家关注我的微信公众号：FPGA开源工作室 

 

基于FPGA的数字识别的实现

1 背景知识

1.1基于FPGA的数字识别的方法

通常，针对印刷体数字识别使用的算法有：基于模版匹配的识别方法、基于BP 神经网络的识别方法、基于数字特征的识别方法等。下文将对这几种算法进行讨论以及比较。
   1>模版匹配法
    模版匹配法是一种被较早应用的数字识别算法，该算法的关键是对所要识别
的所有数字进行模版构建，之后将图像中的数字与所有的数字模版一一进行比较，
计算出图像中数字与每个模版的相似度，根据所计算出的相似度结果进行识别。
其中相似度最高的模版即为我们所要识别的结果。模版匹配法的对数字的大小、
结构形状的规范化程度要求很高，数字的规范化程度对识别的准确率有着直接的
影响。该算法原理较为简单，但计算复杂度过大，同时不利于 FPGA 的实现。
    2>神经网络识别算法
   神经网络识别的方法是模仿动物神经网络的特征，对信息进行分布式并行处
理的一种算法。神经网络识别算法具有一定的抗干扰能力，但为了保证识别的准
确率，该算法需要负责并且大量的计算，来对神经网络进行训练，而过于复杂的
计算不利于 FPGA 对该算法的实现。
    3>数字特征识别算法
    基于数字特征的识别算法其核心是通过对数字的形状以及结构等几何特征
进行分析与统计，通过对数字特征的识别从而达到对图像中数字的识别。

1.2 基于数字特征算法实现数字识别

我们采用基于数字特征的算法进行数字的识别，通过图像采集模块采集到图像，进行灰度化，二值化，然后进行数字特征的提取和统计来完成对数字的识别，最终显示到数码管上，完成图像信息到数字信息的转化。

 

图1 0-6 数字特征标线

 

图2  7-8 数字特征标线

 

图3  5数字特征

数字特征信息的提取基于打印体，如上图1,图2,图3所示，以图3数字5举例，红框是数字5的水平和竖直的上下左右边界。X1在竖直方向的2/5处的水平线，x2在竖直方向的2/3处的水平线，y在水平方的1/2处的水直线。我们以此特征来统计x1,x2,y与数字5的交叉点。

以交叉统计法来区分0-9数字的特征如下表1：

                         表1   0-9数字特征统计表

数字	与y交叉点个数	与x1交叉点个数	与x2交叉点个数	分类
0	2	2	2	A
1	1	1	1	B
2	3	1	1	C
3	3	1	1	C
4	2	2	1	D
5	3	1	1	C
6	3	1	2	E
7	2	1	1	F
8	3	2	2	G
9	3	2	1	H

由于2,3,5的数字特征统计表一样，无法区分所以我们继续增加数字特征以区分2,3,5。如表2：

表2   2,3,5 数字特征统计

数字	与x1的交叉点位置（左，右）	与x2的交叉点位置（左，右）	分类
2	右	左	I(C)
3	右	右	J(C)
5	左	右	K(C)

这样通过数字统计完全区分开数字0-9。然后利用FPGA系统搭建实时数字识别系统。

1.3 目标跟踪方法

    如图4所示，交通摄像头对公路上移动的汽车进行实时的定位，随着小汽车的移动，红色框也跟随小汽车移动，实时将小汽车框起来。

基于实时物体移动的静态图像背景中移动目标检测是计算机视觉领域的研究热点，在安防、监控、智能交通、机器智慧、以及军事领域等社会生活和军事防御等诸多领域都有较大的实用价值。移动目标检测的实质是从实时图像序列中将图像的变化区域从整体图像中分割提取出来。由于图像的后期处理，比如移动目标的分类、跟踪、测距、判断大小以及行为动作分析等，主要考虑的是移动目标区域的像素信息，所以对移动目标的准确检测和有效分割是整个检测跟踪系统的重要基础。

              

                                图4 公路上的运动汽车

目前逐渐形成三种运动目标的检测算法：

1）帧间差分法 是采用视频序列中的相邻两帧图像做差的方法，来检测视频序列中的移动目标。但是受运动目标和背景变化的影响，检测过程中有可能出现伪目标或者目标中出现“空洞”，在目标运动不是太快时可以有效的检测到目标。

2）背景减除法首先在没有目标的场景中获取背景图像，然后利用实时视频序列和背景图像做差，来实现地移动目标的检测。如何获得背景是背景减除法的关键。

3）光流法是通过给图像中每个像素点赋予一个速度矢量的方法建立光流场，利用光流场中矢量运动的连续性来检测移动目标。该方法的计算量通常很大，难以实现实时性的检测。 

本节将基于FPGA的目标跟踪以及统计学的特征统计来实现对数字的位置实时定位以及数字识别，不在局限于数字在屏幕中的位置，也不局限数字的大小。

2 基于FPGA的数字识别的实现

图5 基于ov5640的FPGA实时数字识别系统

如图5所示，我们图像采集使用 ov5640 cmos  500W像素摄像头，将采集到的彩色RGB图像首先存入SDRAM中，然后由TFT显示控制端读出图像数据，读出RGB图像数据后，我们首先进行RGB转Ycbcr算法操作，然后对灰度图像进行阈值分割，形成二值图像，对二值数字图像进行边界追踪的基础上进行数字识别，最终将边界显示在TFT5寸屏幕上，将识别的数字信息显示在数码管上。

 

                            图6 边界追踪数字识别的三大主要核心模块

如图6 所示，以TFT屏的显示时序为基准，首先进行边界追踪，识别数字边界后，我们在边界的基础上进行统计特征的数字识别。

 

图7 边界追踪模块

如图7 所示，hcount为列计数器，vcount为行计数器，TFT_VS_fall和TFT_VS_rise分别是帧下降沿标志和帧上升沿标志，frame_cnt为帧计数器，hcount_l和hcount_r分别是识别后数字的左右边界，vcount_l和vcount_r分别是数字的上下边界。Th_flag_fall和th_flag_rise分别是灰度图像阈值后的下降沿和上升沿标志。

图8 数字识别模块

如图8 所示基本的边界信息均来自数字边界识别模块，数字识别模块主要的到数字统计学的两横一竖（x1,x2,y）与数字的交点信息，以及其他补充信息。

部分核心代码：

/*

Module name:  digital_recognition.v

Description:  digital recognition

              

Data:         2018/04/17

Engineer:     lipu

e-mail:       [email protected]

微信公众号：    FPGA开源工作室

*/

数字识别x1 ,x2,y核心代码：

 

 

TFT显示屏显示代码：

 

数字识别与数码管显示对接代码：

 

结果展示：

 

图9 实验原图

 

图10 边界跟踪数字识别6

 

图11 边界跟踪数字识别7

 

 

图12 边界跟踪数字识别4

 

 

图13 边界跟踪数字识别5

展望：

基于机器视觉的识别是走向人工智能的必然之路，字符的识别就是这条路的敲门砖。本次实验的结果完成了无论数字大小，数字在屏幕中的位置均可正确识别。基于此，可以开发人脸位置识别，人脸模板匹配识别，车牌识别等现如今比较火的机器视觉，人工智能等。

欢迎加入FPGA开源工作室 。

FPGA自习学院将不断更新和总结FPGA相关学习资料，书籍，实例工程和视频。

欢迎大家加入FPGA自习学院，一起学习一起成长。