基于yolov5的目标检测与LPRnet的车牌识别

摘要：

在城市交通管理、视频监控、车辆识别和停车场管理中车辆检测与车牌识别是一项富有挑战而重要的任务。现有的车辆与车牌检测和车牌识别方法大多集中在车辆的颜色、大小和形状上，受天气和光照，相机拍摄等因素的影响很大。在这项工作中，我们利用深度学习识别不同条件下的车辆及其车牌信息。更具体地说，实时目标检测网络（Yolov5Net）用于从车辆图像中提取特征并且通过训练对车辆进行实时目标检测，车牌识别神经网络（LPRnet）用于从车牌提取特征并且通过训练对车牌进行实时识别。通过对Yolov5Net提取的特征进行了分析，利用与视觉任务强相关的测试样本集对目标检测模型与车牌识别模型进行测试，实验结果表明，当测试样本场景与视觉任务相关度越高，且样本中车辆目标的形变越小，得到的目标检测模型与车牌识别模型的效果越好，能够为交通车辆识别与管理等作业提供可靠、高效的车辆信息。

索引项：深度学习、Yolov5Net、LPRNET、车牌识别、目标检测

介绍：

车辆检测与车牌识别对管理交通系统及安全运行具有重要意义。由于车辆检测与车牌识别应用落地的重要性，许多目标检测技术与车牌识别技术得到了发展。目标检测技术受遮挡面积较大的影响，车牌检测与识别受到阳光、行驶方向、天气、光照条件、背景物体等因素的影响很大。所有这些因素使得车辆检测与车辆识别变得困难。到目前为止，目标检测最常用的模型可分为三类：Faster R-CNN[9][12]、SSD[8][9]、YOLOv5。现有的车辆与车牌检测和车牌识别方法大多集中在车辆的颜色、大小和形状上，受天气和光照，相机拍摄因素的影响很大。Faster R-cnn目标检测模型使用金字塔模型可以解决RCNN裁剪尺度变化的问题，借鉴了NLP中attention机制，对感兴趣区域进行分类提高了候选框采集的速度，对小物体有更好对检测效果。SSD目标检测模型对小目标检测效果不好，精度和速度都不及yolov5模型。Faster R-CNN模型相较SSD模型准确率mAP较高，漏检率recall较低，但速度较慢。而yolov5则相反，速度快，但准确率和漏检率较低。Yolov5目标检测算法，将物体的定位和分类在一起完成，在一个输出层回归bounding box的位置和bounding box所属类别，其次，YOLOv5极快。在运行Tesla P100的YOLOv5 Colab笔记本中，每个图像的推理时间快至0.007秒，意味着每秒140帧（FPS），YOLOv5 在运行速度上有明显优势。小型 YOLOv5 模型运行速度加快了约 2.5 倍，同时在检测较小的目标时具有更好的性能。结果也更干净，几乎没有重叠的边框，高质量的完成了实时监测。因为YOLOv5是在PyTorch中实现的，所以它受益于已建立的PyTorch生态系统，支持更简单，部署更容易。此外，作为一个更广为人知的研究框架，在YOLOv5上进行迭代可能更容易。由于该模型可以轻松地编译为ONNX和CoreML，因此这也使得部署到移动设备的过程更加简单，所以选择了Yolov5模型作为车辆检测模型。车牌识别模型可分为三类，一类是基于边缘，一类是基于颜色，一类是基于深度学习。基于边缘和颜色的算法最简单，在场景复杂的地方，误检会相对较多，而LPRnet由轻量级的卷积神经网络组成，所以它可以采用端到端的方法来进行训练。LPRnet算法可以创建嵌入式部署的解决方案，即便是在具有较高挑战性的中文车牌识别上，故选择LPRnet模型对车牌进行识别。

本文的组织结构如下:       第二节介绍了我们方法的原理,第三节描述了我们的实验数据集。第四节对实验、特征分析和实验结果进行了详细描述。最后，第五节总结了主要结论和今后的工作。