使用自适应形态学闭操作和本地自适应阈值的车牌检测

摘要：自动车牌识别（ALPR）是许多智能交通系统（ITS）服务的基础。很多自动车牌识别系统通常分为三个步骤，车牌检测（LPD）,字符分割和字符识别。在自动车牌识别系统中，车牌检测是第一步也是关键的一步。在复杂背景下进行车牌检测仍然是一个复杂的任务，有许多的算法进行车牌检测。本文的目标是提出一个在复杂背景下提取车牌的算法。该方法有以下三个步骤：自适应形态学闭操作，局部自适应阈值和形态学开操作。使用真实的数据集进行实验，结果表明，本文提出的方法的检出率要高于其他一些方法，时间也比其他方法更短。

关键字：车牌检测，形态学，自适应阈值，图形加速器

1.简介

对于交通管理和更智能使用交通网络来说，智能交通系统是先进的程序和应用。为了提供智能服务，很多技术被使用，例如信息与交通技术（ICT），无线射频识别（RFID），全球定位系统（GPS）和自动车牌识别（ALPR）。在ITS使用的这些技术中，ALPR系统扮演一种重要的角色。因为每辆车都有一个规则的独一无二的车牌号码，且不需要任何新的技术或者材料造成额外的花费。因此，在相关技术中，可视化的ALPR的更新比起其他技术来说，更简单和更便宜【1，2,3,4】。

有基于视频的和基于图像的两种自动车牌识别系统，本外，我们主要关注基于图像的车牌识别系统。大部分的ALPR系统包含三个主要的部分，车牌检测，字符分割和字符识别。车牌检测是这些步骤中最主要的一步【1,2,3,4,5,6,7】。因为第二步和第三步的精确度是基于第一步车牌检测。如果车牌定位能精确检测没有额外的区域或者像素，那么字符分割和识别精确度将会提高【1,2,3,4,5,6,7,8,9】。针对LPD，提出了很多不同的算法。然而，由于如环境光照，旋转，遮挡，运动模糊，车牌失真，天气因素和缩放因子等影响因素，车牌定位仍然是一个挑战。【4,10,9,11】。

本文的目标是提出一个在不同环境下进行车牌检测的算法。算法主要包含三个步骤，将其命名为：自适应形态学闭操作，局部自适应阈值和形态学开操作。经过直方图均衡化处理，AMC对所有的灰度化区域平滑。经过局部自适应阈值处理，能得到平滑的图像和基本上被分离的车牌。此后，有一些外部区域和像素与车牌数据相连接，为了将车牌数据与外部区域分离，进行形态学开操作。我们通过在真实数据集上使用opencv库进行实验，结果表明，本文提出的算法在精确度和处理时间上优于其他的一些算法。

论文组织如下，在第二部分对相关研究进行简洁的阐述，第三部分说明本文的算法。第四部分描述实验结果，第五部分给出本文的结论。

2.相关研究

文献【1】提出针对车牌检测的一种新的边缘检测算法（VEDA），算法使用两个步骤进行预处理，自适应二值化和消除噪音和额外的线。通过边缘检测进行边缘检测过滤之后，从候选集中选择出正确的车牌。

文献【2】提出的算法包含三个部分，图像增强和平滑，无车牌区域过滤，和车牌精确定位。在主要步骤中，强方差（IV）和边缘密度（ED）也被使用。文献【3】中使用边缘密度来检测车牌。Prewitt 和 Shenjun操作作为边缘检测器被使用。使用链码跟踪和形态学腐蚀去除过长和过短的边缘，保留由于边缘检测器造成的断裂的车牌边缘。在第二步中，使用带有协方差的线性支持向量机进行车牌候选集的验证。文献【3】使用位置之间的协方差，RGB的灰度值作为训练SVM的第一维和第二维数据。文献【7】使用小波变换提取图像水平和垂直的细节，然后使用经验模态分解（EMD）查找车牌位置，最后使用希尔伯特变换提出车牌的属性特征。

文献【8】通常会使用：中值滤波，Sobel边缘检测，高斯拉普拉斯算子和二值化等算法进行预处理操作，然后使用颜色特征，外轮廓特征和性格特征进行车牌检测。此外，Sobel边缘检测用于检测垂直边缘。为了克服过强或者太弱的关照，使用一个滤波来增加图像的对比度。尽管该滤波被设计用来提高车牌区域的对比度，也会对非车牌区域产生影响。这就是这种技术的缺点。文献【5】中为了检测颜色特征，多通道相邻签名（MNS）被使用。

文献【9】车牌检测中使用频率滤波器和一个新的对比度增强的方法在危险的情况如雨雾天气，低对比度环境，背景图像中与车牌相似的图片等。文献【6】在车牌检测中角落特征也被使用。首先，通过选择大梯度阈值去除无角度点。其次，通过使用改进的Harris角落分类器和集群查找车牌候选集。最后，在车牌候选集中降低阈值和检测角度。文献【12】针对印度车牌提出车牌检测方法。预处理过程包含两个步骤：颜色细分和对比度拉伸。在颜色分割中，运输汽车的黄色由白色进行取代。车牌检测步骤如下：形态学操作，边缘处理，候选集选择/排斥和Harris 角落检测。文献【13】中为了提取车牌水平和垂直信息，使用离散小波变化。文献【14】中使用Gabor滤波器对车牌进行模糊检测，Gabor滤波器是正弦信号和高斯滤波器的组合，设计滤波器与模糊逻辑的结合提高系统针对低/高照明和噪声情况下的健壮性。

有些提到的车牌检测技术的输出结果中提取到的车牌出现有额外的区域和像素，不适合分割和识别状态的车牌。这些具有额外区域和像素的车牌如表1所示。

表一：具有额外的区域和像素的不适合分割和识别阶段的车牌

参考文献	应用技术	提取的车牌
【7】	经验模态分解（EMD）
【5】	边缘和多通道相邻签名（MNS）
【2】	协方差(IV) 和 边缘密度(ED)
【12】	形态学 和 边缘

3.本文提出的车牌检测方法

本文提出的车牌检测方法流程图如图1所示，该方法主要分为三个步骤，自适应形态学闭操作，局部自适应阈值和形态学开操作。值得注意的是，这里有一些预处理操作，如直方图均衡化和降噪等。

预处理--> 自适应形态学闭操作--> 局部自适应阈值--> 形态学开操作

图1, 车牌检测方法流程图

A. 预处理操作

本文提出的预处理方法是改进的直方图均衡化。直方图均衡化是为了帮助图像对比度的延伸。图像的直方图均衡化将像素的值限制在0到L-1的范围内，如公式1所示：

其中，sk是转换后的像素值。N和ni分别表示总的像素的个数和对应像素的值。

一般的直方图均衡化能很好的处理均衡的光照和反光的情况，但不足以处理不均衡的光照图片。为了解决这一问题，进行了局部的直方图均衡化操作。如图2所示，对均衡化和局部均衡化进行了简单的比较。

图2.对图像进行简单的比较。A是原图，B是对图像进行直方图均衡化的结果。C是对图像进行局部均衡图的结果。

如图2所示，A中的原图，图像对比度很低，且看起来很暗。经过直方图均衡化的结果输出如B所示，图像的饱和度有所提升，但是对于检测而言，图像的辨识度有些困难。为了解决这一问题，进行局部的直方图均衡化结果如C所示。为了能实现局部的均衡化，将图像分为不同的区块，如图3所示。

图像的预处理区块

图3中的 x 和 y 分别表示分块的宽和高。将整幅图分别用该矩阵块进行遍历。

B.自适应形态学闭操作

闭操作的目标是为了填充图像的特征并平滑车牌区域。常见的形态学闭操作使用一个固定的结构化特征（Structuring Element ，SE）。换句话说，在应用SE时，他的尺寸和形状不能改变。因此。该固定的SE特征在实际应用中缩放比例是非常重要的也是非常脆弱的。因此，使用多融合的SE特征也是一个方法，但是其计算成本会大大增加【文献15】。为了解决这一问题，自适应形态学闭操作被使用。在AMC使用的主要方法中，取一组SE特征进行形态学闭操作。

针对图A和结构化B形态学操作，进行腐蚀和膨化操作，如下列定义所示：

在（2）和（3）中分别表示图像的腐蚀和膨化操作。其中Bs表示集合B,Bt1和t2扥别表示被（t1,t2）操作转换后的像素值，其中（t1,t2）∈Z2.基于腐蚀和膨化工作进行闭操作。

基于自适应形态学闭操作【文献15】，取代使用多个闭操作的串联、我们能够使用心得结构化特征进行闭操作（CSE）,图4显示AMC对使用一组SE进行的定义：

膨化-->CSE-->腐蚀

其中d是一个基础元素在E和β=（A）（i,j）。这些资源应用是被存储在内存中。

C.局部自适应阈值

对上一步的结果进行局部自适应阈值的进一步处理。在该步骤中，车牌基本被检测出来。我们使用【文献16】中改进的车牌检测方法。一个矩形的窗口而不是方形的窗口被使用。

使用矩形窗口能检测更多的像素，且计算时间被减少。在伪代码中，in表示输出图像，int表示完整的图像，m表示车牌的宽度，n表示车牌的高度，w表示输入图像的宽度，h表示输入

图像的高度，t表示阈值。伪代码如下：

从m和n中，车牌的最小化和最大化被需要，主要通过空间因素或者车辆到相机之间的距离影响最小化和最大化因素。在车牌检测中，车牌的m和n使用以下方法进行计算：

其中，分别表示车牌宽度的最小值和最大值，分别表示车牌高度的最小值和最大值。LAT

检测车牌区域方法中，出现车牌区域和非车牌区域的连接。为了解决车牌区域和非车牌区域的连接问题，进行形态学开操作。

D.形态学开操作

通风器，散热器和保险杆通常与车牌区域相连接。经过形态学开操作扩张后腐蚀，这些操作能断开连接较弱的区域。A和B分别表示保险杆与车牌区域的连接。形态学开操作能

断开这些区域和车牌区域的连接，如图5所示。

4.系统实现和实验结果

本文提出的系统实现在7核处理器（2670QM）和AMD的Radeon 图像处理器（HD6770M）。数据集包含有2232幅真实照片，其中有通过真实场景中商业照相机拍摄的照片，如

高速公路，自动闸门，白天和夜晚的照片以及不同天气条件下拍摄的照片。部分图片不止一个车牌。如图6所示部分示例数据集。本文提出的算法使用C++和openvcv3.2库实现。

值的注意的是，LHE和AMC是通过使用opencl的GPU上实现的。文献提出的检出率和检出时间定义如下所示：

a) 检出率：这个指标表示车牌被完全检测的数量。检测出的车牌应该有所有的特征，而不仅是通风机或者保险杆的数量

b)检测时间:检测时间表示算法开始和结束直接所用的时间，这个时间包括从磁盘中读照片到将结果显示出来所有的时间，而不仅是计算的时间。

图6，数据集中的示例

B.实验结果

本文提出的车牌检出率与其他相关结果的对比结果如图7所示。

如图7所示，车牌的检出率超过99%,远超其他方法检出的车牌数量。

本文提出的方法与其他方法使用时间的对比，如图8所示

如图8所示，文本提出的算法快于其他的算法

图9，展示了本文提出的方法在数据集应用中检出的的车牌。

图9，是图6中提取出的车牌数据

5.结论

自动车牌识别是许多智能交通系统服务的基础。自动车牌识别通常包含有三个步骤，车牌检测，字符分割和字符识别。车牌检测是其中最重要的一步。在不同的情况下收集

车牌照片并检测车牌是一个困难的任务。我们提出了一种新的算法包含下列三个步骤，自适应性形态学闭操作，局部自适应阈值和形态学开操作来解决该问题。通过在不同情况下

收集的真实照片的实验表明，我们的实验结果展示，本文提出的方法在车牌检测中车牌检出率和检测时间优于其他的方法。

致谢

非常感谢Ashaari经理为本文提供的车牌数据集。

参考文献

[1] A. M. Al-Ghaili, S. Mashohor, A. R. Ramli and A. Ismail, "VerticalEdge-Based Car-License-Plate Detection Method," IEEE Transactions
on Vehicular Technology, vol. 62, no. 1, pp. 26-38, 14 January 2013.
[2] M. A. Lalimi, S. Ghofrani and D. McLernon, "A vehicle license plate detection method using region and edge," Computers & Electrical
Engineering, vol. 39, no. 3, pp. 834-845, April 2013.
[3] B.-Y. Feng, M. Ren, X.-Y. Zhang and C.-L. Liu, "Effective license plate detection using fast candidate region selection and covariance feature
based filtering," in Advanced Video and Signal Based Surveillance (AVSS), 2014 11th IEEE International Conference on, 2014.
[4] S. Du, M. Ibrahim, M. Shehata and W. Badawy, "Automatic License Plate Recognition (ALPR): A State-of-the-Art Review," IEEE
Transactions on Circuits and Systems for Video Technology, vol. 23, no. 2, pp. 311-325, 2016.
[5] V. Abolghasemi and A. Ahmadyfard, "An edge-based color-aided method for license plate detection," Image and Vision Computing, vol.
27, no. 8, pp. 1134-1142, 2 July 2009.
[6] T. Panchal, H. Patel and A. Panchalb, "License Plate Detection using Harris Corner and Character Segmentation by Integrated Approach from
an Image," in 7th International Conference on Communication, Computing and Virtualization 2016, Mumbai, 2016.
[7] S. Yua, B. Lib, Q. Zhangb, C. Liua and M. Q.-H. Mengc, "A novel license plate location method based on wavelet transform and EMD
analysis," Pattern Recognition, vol. 48, no. 1, pp. 114-125, January 2015.
[8] L. Jin, H. Xian, J. Bie, Y. Sun, H. Hou and a. Q. Niu, "License Plate Recognition Algorithm for Passenger Cars in Chinese Residential
Areas," Sensors, vol. 12, 2012.
[9] A. Samiul and I. M. Monirul, "Automatic License Plate Detection in Hazardous Condition," Journal of Visual Communication and Image
Representation, vol. 36, pp. 172-186, 2016.
[10] S. Azam and M. M. Islam, "Automatic License Plate Detection in Hazardous Condition," Journal of Visual Communication and Image
Representation, vol. 36, pp. 172-186, 2016.
[11] B. Tian, B. T. Morris, M. Tang, Y. Liu, Y. Yao, C. Gou, D. Shen and S. Tang, "Hierarchical and Networked Vehicle Surveillance in ITS: A
Survey," IEEE TRANSACTIONS ON INTELLIGENT TRANSPORTATION SYSTEMS, vol. in press, pp. 1-24, 2016.
[12] N. Ukani and H. Mehta, "An Accurate Method for License Plate Localization using Morphological Operations and Edge Processing," in
3rd International Congress on Image and Signal Processing (CISP2010), Yantai, 2010.
[13] Y.-R. Wang, W.-H. Lin and S.-J. Horng, "A sliding window technique for efficient license plate localization based on discrete wavelet
transform," Journal of Visual Communication and Image Representation, vol. 38, no. 4, pp. 3142-3146, 2011.
[14] V. Tadic, M. Popovic and P. Odry, "Fuzzified Gabor filter for license plate detection," Engineering Applications of Artificial Intelligence, vol. 48, pp. 40-58, February 2016.
[15] F. Cheng and A. Venetsanopoulos, "Adaptive morphological operators, fast algorithms and their applications," Pattern Recognition, vol. 33, no.
6, pp. 917-933, June 2000.
[16] G. R. Derek Bradley, "Adaptive Thresholding Using the Integral Image," Journal of Graphics Tools, vol. 12, no. 2, pp. 13-21, 2007.