基于PaddleOCR的车牌检测识别

前言

• 由于本人水平有限，难免出现错漏，敬请批评改正。
• 更多精彩内容，可点击进入YOLO系列专栏、自然语言处理
  专栏或我的个人主页查看
• 基于DETR的人脸伪装检测
• YOLOv7训练自己的数据集（口罩检测）
• YOLOv8训练自己的数据集（足球检测）
• YOLOv5：TensorRT加速YOLOv5模型推理
• YOLOv5：IoU、GIoU、DIoU、CIoU、EIoU
• 玩转Jetson Nano（五）：TensorRT加速YOLOv5目标检测
• YOLOv5：添加SE、CBAM、CoordAtt、ECA注意力机制
• YOLOv5：yolov5s.yaml配置文件解读、增加小目标检测层
• Python将COCO格式实例分割数据集转换为YOLO格式实例分割数据集
• YOLOv5：使用7.0版本训练自己的实例分割模型（车辆、行人、路标、车道线等实例分割）

前提条件

• 熟悉Python

相关介绍

• Python是一种跨平台的计算机程序设计语言。是一个高层次的结合了解释性、编译性、互动性和面向对象的脚本语言。最初被设计用于编写自动化脚本(shell)，随着版本的不断更新和语言新功能的添加，越多被用于独立的、大型项目的开发。
• PaddleOCR（全称：Paddle Optical Character Recognition）是一个基于PaddlePaddle深度学习框架开发的开源OCR（光学字符识别）工具。OCR是一种技术，用于将印刷体或手写体的文本内容转换为可编辑的电子文本。PaddleOCR旨在通过深度学习技术实现高精度的文本检测、文本识别和版面分析等功能。
• PaddleOCR项目提供了一个端到端的OCR解决方案，涵盖了以下主要功能：
  • 文本检测（Text Detection）：识别图像中的文本区域，通常以矩形边界框表示。
  • 文本识别（Text Recognition）：对于检测到的文本区域，进一步识别其中的字符和单词，将图像中的文本内容转化为可编辑的文本。
  • 版面分析（Layout Analysis）：分析文档的版面结构，包括段落、标题、表格等，从而更好地理解文档的组织结构。
• PaddleOCR项目使用深度学习模型，如卷积神经网络（CNN）和循环神经网络（RNN），来训练和优化用于文本检测和文本识别的模型。该项目的优势在于它能够处理多种语言和不同领域的文本，同时提供了易于使用的API和命令行界面，使开发者能够轻松地集成OCR技术到自己的应用中。
• 总之，PaddleOCR是一个开源的、基于PaddlePaddle的OCR工具，旨在提供高精度的文本检测、文本识别和版面分析功能，以满足不同应用领域对OCR技术的需求。

PaddleOCR

• 项目地址：https://github.com/PaddlePaddle/PaddleOCR.git
• PaddleOCR官方教程文档：https://github.com/PaddlePaddle/PaddleOCR/blob/release/2.6/README_ch.md
• 注：PaddleOCR官方教程文档写得十分详尽，有兴趣者，可自行查阅。之所以写这篇文章，是本人查阅完PaddleOCR官方教程文档后，对自己的项目需求，进行快速应用实现、部署的一次小记录。本文旨在快速应用实现，不究原理，后续有空再写。

环境要求

• paddleocr==2.7.0.0
• paddlepaddle==2.4.2
• paddleslim: 2.2.2
• shapely
• scikit-image
• imgaug
• pyclipper
• lmdb
• tqdm
• numpy
• visualdl
• rapidfuzz
• opencv-python<=4.6.0.66
• opencv-contrib-python<=4.6.0.66
• cython
• lxml
• premailer
• openpyxl
• attrdict
• PyMuPDF<1.21.0
• Pillow>=10.0.0

车牌检测识别

准备数据集

这里以公开CCPD2020车牌数据集作为主要数据集进行训练，但此公开数据集并不是PaddleOCR所要求的数据集格式，所以需要转化。

• 该数据集可以从这里下载 https://aistudio.baidu.com/aistudio/datasetdetail/101595
• PaddleOCR数据格式制作，后续有空再写。详细可查阅 PaddleOCR官方教程文档：https://github.com/PaddlePaddle/PaddleOCR/blob/release/2.6/README_ch.md

车牌文本检测

下载预训练模型

• 下载地址：https://paddleocr.bj.bcebos.com/PP-OCRv3/chinese/ch_PP-OCRv3_det_distill_train.tar

下载完成后，解压放到PaddleOCR/models目录下

微调、训练车牌检测数据集

python tools/train.py -c configs/det/ch_PP-OCRv3/ch_PP-OCRv3_det_student.yml -o  Global.pretrained_model=models/ch_PP-OCRv3_det_distill_train/student.pdparams  Global.save_model_dir=output/CCPD/det Global.eval_batch_step="[0, 772]" Optimizer.lr.name=Const Optimizer.lr.learning_rate=0.0005 Optimizer.lr.warmup_epoch=0 Train.dataset.data_dir=../../datasets/CCPD2020/ccpd_green Train.dataset.label_file_list=[../../datasets/CCPD2020/PPOCR/train/det.txt] Eval.dataset.data_dir=../../datasets/CCPD2020/ccpd_green Eval.dataset.label_file_list=[../../datasets/CCPD2020/PPOCR/test/det.txt]

评估训练好的模型

python tools/eval.py -c configs/det/ch_PP-OCRv3/ch_PP-OCRv3_det_student.yml -o Global.pretrained_model=output/CCPD/det/best_accuracy.pdparams Eval.dataset.data_dir=../../datasets/CCPD2020/ccpd_green Eval.dataset.label_file_list=[../../datasets/CCPD2020/PPOCR/test/det.txt]

导出模型

python tools/export_model.py -c configs/det/ch_PP-OCRv3/ch_PP-OCRv3_det_student.yml -o Global.pretrained_model=output/CCPD/det/best_accuracy.pdparams Global.save_inference_dir=output/det/infer

车牌文本识别

下载预训练模型

• 下载地址：https://paddleocr.bj.bcebos.com/PP-OCRv3/chinese/ch_PP-OCRv3_rec_train.tar

下载完成后，解压放到PaddleOCR/models目录下

微调、训练车牌识别数据集

python tools/train.py -c configs/rec/PP-OCRv3/ch_PP-OCRv3_rec.yml -o Global.pretrained_model=models/ch_PP-OCRv3_rec_train/student.pdparams Global.save_model_dir=output/CCPD/rec/ Global.eval_batch_step="[0, 90]" Optimizer.lr.name=Const Optimizer.lr.learning_rate=0.0005 Optimizer.lr.warmup_epoch=0 Train.dataset.data_dir=../../datasets/CCPD2020/PPOCR  Train.dataset.label_file_list=[../../datasets/CCPD2020/PPOCR/train/rec.txt] Eval.dataset.data_dir=../../datasets/CCPD2020/PPOCR Eval.dataset.label_file_list=[../../datasets/CCPD2020/PPOCR/test/rec.txt]

评估训练好的模型

python tools/eval.py -c configs/rec/PP-OCRv3/ch_PP-OCRv3_rec.yml -o Global.pretrained_model=output/CCPD/rec/best_accuracy.pdparams Eval.dataset.data_dir=../../datasets/CCPD2020/PPOCR Eval.dataset.label_file_list=[../../datasets/CCPD2020/PPOCR/test/rec.txt]

导出模型

python tools/export_model.py -c configs/rec/PP-OCRv3/ch_PP-OCRv3_rec.yml -o Global.pretrained_model=output/CCPD/rec/best_accuracy.pdparams Global.save_inference_dir=output/CCPD/rec/infer

进行预测

python tools/infer/predict_system.py --det_model_dir=output/CCPD/det/infer/ --rec_model_dir=output/CCPD/rec/infer/ --image_dir="test.jpg"

测试结果图

参考

[1] https://github.com/PaddlePaddle/PaddleOCR.git
[2] https://github.com/PaddlePaddle/PaddleOCR/blob/release/2.6/README_ch.md
[3] https://github.com/detectRecog/CCPD

• 由于本人水平有限，难免出现错漏，敬请批评改正。
• 更多精彩内容，可点击进入YOLO系列专栏、自然语言处理
  专栏或我的个人主页查看
• YOLOv5：添加SE、CBAM、CoordAtt、ECA注意力机制
• YOLOv5：yolov5s.yaml配置文件解读、增加小目标检测层
• YOLOv5：IoU、GIoU、DIoU、CIoU、EIoU
• YOLOv7训练自己的数据集（口罩检测）
• YOLOv8训练自己的数据集（足球检测）
• 玩转Jetson Nano（五）：TensorRT加速YOLOv5目标检测
• YOLOv5：使用7.0版本训练自己的实例分割模型（车辆、行人、路标、车道线等实例分割）
• Python将COCO格式实例分割数据集转换为YOLO格式实例分割数据集
• 基于DETR的人脸伪装检测
• 使用Kaggle GPU资源免费体验Stable Diffusion开源项目
• YOLOv5：TensorRT加速YOLOv5模型推理