基于paddelOCR的车票识别以及在PCB板上应用

基于paddelOCR的车票识别

基于paddelOCR的车票识别以及在PCB板上应用_第1张图片

任务简介

车牌识别就是从图片或者视频中提取车牌信息
基于paddelOCR的车票识别以及在PCB板上应用_第2张图片

任务难点

基于paddelOCR的车票识别以及在PCB板上应用_第3张图片

  • 尺度差异大,悬挂位置不固定;
  • 角度倾斜,图片模糊,光照不足,过曝等问题;
  • 边缘和端测场景应用对模型大小有限制,推理速度有要求;

数据集介绍

基于paddelOCR的车票识别以及在PCB板上应用_第4张图片

  • CCPD数据集2019(25w)
  • CCPD数据集2020(5k)

解决方案流程

基于paddelOCR的车票识别以及在PCB板上应用_第5张图片

  • 车牌检测
  • 车牌识别 (PP-OCR)
  • 模型量化剪枝(PaddleSlim)
  • 推理(PaddleLite)

PaddleOCR

基于paddelOCR的车票识别以及在PCB板上应用_第6张图片
PaddleOCR是一个领先的OCR使用工具库。

基于paddelOCR的车票识别以及在PCB板上应用_第7张图片
PaddleOCR的结构:

  • 文本检测
    • LK-PAN: 大感受野的PAN结构
    • DML:教师模型互学习策略
    • RSE-FPN:残差注意力机制的FPN结构
  • 文本识别
    • SVTR_LCNet: 轻量级文本识别网络
    • GTC:Attention指导CTC训练策略
    • TextConAug:挖掘上下文信息的数据增广策略
    • TextRotNet:自监督的预训练模型
    • UDML:联合互学习策略
    • UIM:无标注数据挖掘方案

知识蒸馏

基于paddelOCR的车票识别以及在PCB板上应用_第8张图片

车牌识别方案

基于paddelOCR的车票识别以及在PCB板上应用_第9张图片

检测优化结果

基于paddelOCR的车票识别以及在PCB板上应用_第10张图片

识别优化结果

基于paddelOCR的车票识别以及在PCB板上应用_第11张图片
评价指标:

  • acc:整个字符串是否相等
  • norm_edit_dis:归一化的编辑距离,整张图片上的文字对了几个

识别case分析

基于paddelOCR的车票识别以及在PCB板上应用_第12张图片

识别优化结果

基于paddelOCR的车票识别以及在PCB板上应用_第13张图片
finetune会提升垂类场景效果

End2End结果

将检测和识别结合到一起:
基于paddelOCR的车票识别以及在PCB板上应用_第14张图片
case分析
基于paddelOCR的车票识别以及在PCB板上应用_第15张图片

  • 检测框倾斜角度不对
  • 字符长度不符合车牌规则

解决上述问题方法:
基于paddelOCR的车票识别以及在PCB板上应用_第16张图片

  • 检测框dilation and flip(缩放和反转)
  • 识别结果长度限制

方向不对就上下翻转一下 dilation放大或者缩小方框

基于paddelOCR的车票识别以及在PCB板上应用_第17张图片
处理之后,精度提升了许多。

动手实践

基于paddelOCR的车票识别以及在PCB板上应用_第18张图片
微调是在预训练模型上跑10个epoch左右
基于paddelOCR的车票识别以及在PCB板上应用_第19张图片

微调

基于paddelOCR的车票识别以及在PCB板上应用_第20张图片
学习率设置为之前的1/20
基于paddelOCR的车票识别以及在PCB板上应用_第21张图片

量化训练

基于paddelOCR的车票识别以及在PCB板上应用_第22张图片
基于paddelOCR的车票识别以及在PCB板上应用_第23张图片
基于paddelOCR的车票识别以及在PCB板上应用_第24张图片
基于paddelOCR的车票识别以及在PCB板上应用_第25张图片
基于paddelOCR的车票识别以及在PCB板上应用_第26张图片
基于paddelOCR的车票识别以及在PCB板上应用_第27张图片
基于paddelOCR的车票识别以及在PCB板上应用_第28张图片

基于paddelOCR的车票识别以及在PCB板上应用_第29张图片
基于paddelOCR的车票识别以及在PCB板上应用_第30张图片
基于paddelOCR的车票识别以及在PCB板上应用_第31张图片
基于paddelOCR的车票识别以及在PCB板上应用_第32张图片
基于paddelOCR的车票识别以及在PCB板上应用_第33张图片
基于paddelOCR的车票识别以及在PCB板上应用_第34张图片

手写体不好收集, text render生成
基于业务场景做后处理,ppstruct vqa

基于paddelOCR的车票识别以及在PCB板上应用_第35张图片
检测 2000张

  • https://live.polyv.cn/watch/3110906

PCB板上应用

基于paddelOCR的车票识别以及在PCB板上应用_第36张图片
基于paddelOCR的车票识别以及在PCB板上应用_第37张图片

基于paddelOCR的车票识别以及在PCB板上应用_第38张图片
基于paddelOCR的车票识别以及在PCB板上应用_第39张图片
基于paddelOCR的车票识别以及在PCB板上应用_第40张图片
基于paddelOCR的车票识别以及在PCB板上应用_第41张图片
基于paddelOCR的车票识别以及在PCB板上应用_第42张图片
基于paddelOCR的车票识别以及在PCB板上应用_第43张图片
基于paddelOCR的车票识别以及在PCB板上应用_第44张图片
基于paddelOCR的车票识别以及在PCB板上应用_第45张图片
基于paddelOCR的车票识别以及在PCB板上应用_第46张图片
基于paddelOCR的车票识别以及在PCB板上应用_第47张图片
基于paddelOCR的车票识别以及在PCB板上应用_第48张图片
基于paddelOCR的车票识别以及在PCB板上应用_第49张图片
基于paddelOCR的车票识别以及在PCB板上应用_第50张图片
基于paddelOCR的车票识别以及在PCB板上应用_第51张图片
基于paddelOCR的车票识别以及在PCB板上应用_第52张图片
基于paddelOCR的车票识别以及在PCB板上应用_第53张图片
基于paddelOCR的车票识别以及在PCB板上应用_第54张图片

  • https://live.baidu.com/m/media/pclive/pchome/live.html?room_id=7380176421&source=h5pre

你可能感兴趣的:(OCR,Paddle,OCR,PCB,车牌)