PaddleOCR开源地址:
https://github.com/PaddlePaddle/PaddleOCR
参考资料:快速入门PaddleOCR,并使用其开发一个搜题小工具
安装依赖库:CPU版本的paddlepaddle
pip install paddlepaddle
安装PaddleOCR
pip install “paddleocr>=2.0.1”
PaddleOCR 分为 Detection(文本检测)、 Direction classifier(方向分类器)和Recognition(文本识别)三部分,因此需要三个模型。官方代码仓中有模型下载地址:
其中文本检测有三个模型,分别是MobileNetV3、ResNet18_vd和ResNet50,其中最常使用的是MobileNetV3模型,整体比较小,适合应用于手机端。文本识别只有一个MobileNetV3预训练模型。方向分类器使用默认的模型。
把最后一行的通用检测模型(143.4M)的三个模型(tar压缩包)下载下来并解压,PaddleOCR加载的model是解压后的文件夹,而不是压缩包。
随便找一张图片进行OCR文本检测:
参考官方的demo:demo
from paddleocr import PaddleOCR, draw_ocr
from PIL import Image
# load model
# Paddleocr目前支持中英文、英文、法语、德语、韩语、日语,可以通过修改 lang参数进行切换
# lang参数依次为`ch`, `en`, `french`, `german`, `korean`, `japan`
ocr = PaddleOCR(lang="ch",
use_gpu=False,
det_model_dir="../paddleORC_model/ch_ppocr_server_v2.0_det_infer/",
cls_model_dir="ch_ppocr_mobile_v2.0_cls_infer/",
rec_model_dir="ch_ppocr_server_v2.0_rec_infer/")
# load dataset
img_path = 'test.jpg'
resul = ocr.ocr(img_path)
for line in result:
print(line)
# 注:
# result是一个list,每个item包含了文本框,文字和识别置信度
# line的格式为:
# [[[3.0, 149.0], [43.0, 149.0], [43.0, 163.0], [3.0, 163.0]], ('人心安', 0.6762619018554688)]
# 文字框 boxes = line[0],包含文字框的四个角的(x,y)坐标
# 文字 txts = line[1][0]
# 识别置信度 scores = line[1][1]
# visual
image = Image.open(img_path).convert('RGB')
boxes = [line[0] for line in result]
txts = [line[1][0] for line in result]
scores = [line[1][1] for line in result]
im_show = draw_ocr(image, boxes, txts, scores)
im_show = Image.fromarray(im_show)
im_show.save('result.jpg')
[[[47.0, 35.0], [306.0, 35.0], [306.0, 90.0], [47.0, 90.0]], ('免夹免拉', 0.989071249961853)]
[[[52.0, 109.0], [276.0, 109.0], [276.0, 130.0], [52.0, 130.0]], ('操作简单居家可做', 0.988811731338501)]
[[[52.0, 146.0], [277.0, 146.0], [277.0, 167.0], [52.0, 167.0]], ('温和配方健康直发', 0.9917734861373901)]
[[[140.0, 441.0], [186.0, 441.0], [186.0, 455.0], [140.0, 455.0]], ('STRAIT', 0.9612524509429932)]
[[[113.0, 464.0], [208.0, 453.0], [213.0, 494.0], [118.0, 505.0]], ('glatt', 0.9871892929077148)]
[[[31.0, 561.0], [52.0, 560.0], [56.0, 642.0], [35.0, 643.0]], ('219PLUS', 0.7543826103210449)]
[[[609.0, 586.0], [774.0, 586.0], [774.0, 631.0], [609.0, 631.0]], ('活动价:', 0.9964019060134888)]
[[[594.0, 639.0], [799.0, 645.0], [794.0, 798.0], [589.0, 792.0]], ('45', 0.9980571269989014)]
[[[581.0, 652.0], [603.0, 652.0], [603.0, 680.0], [581.0, 680.0]], ('?', 0.8542420268058777)]
[[[143.0, 680.0], [473.0, 680.0], [473.0, 711.0], [143.0, 711.0]], ('下单赠送全套工具', 0.9827134609222412)]
[[[12.0, 749.0], [545.0, 747.0], [545.0, 781.0], [12.0, 783.0]], ('一梳就直免拉免夹家用直发膏', 0.9552955627441406)]
可以看到识别结果还是非常理想的,尽管模型中选择的语言 lang=“ch” ,但中英文都可以识别出来。
result = ocr.ocr(img_path)
for line in result:
result是一个list,每个item包含了文本框,文字和识别置信度
line的格式为:
[[[3.0, 149.0], [43.0, 149.0], [43.0, 163.0], [3.0, 163.0]], ('人心安', 0.6762619018554688)]
文字框 boxes = line[0],包含文字框的四个角的(x,y)坐标
文字 txts = line[1][0]
识别置信度 scores = line[1][1]
paddleOCR内置的可视化函数 draw_ocr() 方法需要 image, boxes, txts, scores 四个参数就可以实现可视化。当然该函数还可以接受其他参数,如字体文件路径。