集装箱OCR:EAST和tesseract

1. 问题的分析

在解决问题前我们一般都会先看看获取的图像是什么样的,这样可以大概的评估出来我们应该使用什么样的算法。下图是监控摄像头拍摄到的画面,我们需要完成的就是把及上面的那些字母和数字识别出来。


7.PNG

从上图中看到,这显然是属于自然场景下的OCR问题,首先要做的就是文本的检测,文本检测目前效果不错的有EAST,CTPN等等。考虑到EAST有现成的模型和开源代码可以使用,首先就使用EAST来测试看看文本检测的效果

2. EAST文本检测

使用的模型来源于Adrian小哥的这篇文章。
因为加载模型的时候我们需要使用到OpenCV的dnn模块,所以我们需要使用OpenCV3.4.2或更高版本, 这里我使用的环境是:

opencv-python==3.4.5.20
numpy==1.15.0
imutils==0.5.2
pytesseract==0.2.6
Pillow==5.1.0

上面的库中imutils是为了方便的得到文本区域的bounding box的,Pillow是一个图像处理的库,这里我们用它来获取图像矩形的数据。pytesseract则是tesseract的接口,用来调用tesseract进行文本内容识别的。
环境完成好之后我们首先来实现文本的检测。

import numpy as np
import cv2
import time
from imutils.object_detection import non_max_suppression
import pytesseract
from PIL import Image

WIDTH = 640
HEIGHT = 800

net_file = "frozen_east_text_detection.pb"
min_confidence = 0.5

image_path = "3.png"
image = cv2.imread(image_path)
orig = image.copy()
(h, w) = image.shape[:2]

# 设置图像的宽和高
(newW, newH) = (WIDTH, HEIGHT)
rW = w / float(newW)
rH = h / float(newH)

# 将图像放缩为指定的大小
image = cv2.resize(image, (newW, newH))
(h, w) = image.shape[:2]

layers = ["feature_fusion/Conv_7/Sigmoid",
          "feature_fusion/concat_3"]

print("[INFO] 加载检测模型")
net = cv2.dnn.readNet(net_file)

blob = cv2.dnn.blobFromImage(image, 1.0, (w, h),
                             (123.68, 116.78, 103.94), swapRB=True, crop=False)

start = time.time()
net.setInput(blob)
(scores, geometry) = net.forward(layers)
end = time.time()

print("[INFO] 检测使用 {:.6f} 秒".format(end - start))

# 从scores中获取行和列
(numrows, numcols) = scores.shape[2:4]
rects = []  
confidences = []

for y in range(0, numrows):
    scoresData = scores[0, 0, y]
    xData0 = geometry[0, 0, y]
    xData1 = geometry[0, 1, y]
    xData2 = geometry[0, 2, y]
    xData3 = geometry[0, 3, y]
    anglesData = geometry[0, 4, y]

    for x in range(0, numcols):
        # 忽略置信度小于指定的概率
        if scoresData[x] < min_confidence:
            continue

        # 计算偏移因子,因为我们得到的特征图将比输入图像小4倍
        (offsetX, offsetY) = (x * 4.0, y * 4.0)

        # 提取旋转角度进行预测,然后计算sin和cosine
        angle = anglesData[x]
        cos = np.cos(angle)
        sin = np.sin(angle)

        # 使用几何体体积导出边界框的宽度和高度
        h = xData0[x] + xData2[x]
        w = xData1[x] + xData3[x]

        # 计算文本预测边界框的开始和结束(x,y)坐标
        endX = int(offsetX + (cos * xData1[x]) + (sin * xData2[x]))
        endY = int(offsetY - (sin * xData1[x]) + (cos * xData2[x]))
        startX = int(endX - w)
        startY = int(endY - h)

        # 将边界框坐标和概率分数添加到各自的列表中
        rects.append((startX, startY, endX, endY))
        confidences.append(scoresData[x])

# 非极大值抑制在弱边界框和重叠边界框上的应用
boxes = non_max_suppression(np.array(rects), probs=confidences)

for (startx, starty, endx, endy) in boxes:
    startx = int(startx * rW)
    starty = int(starty * rH)
    endx = int(endx * rW)
    endy = int(endy * rH)

    roi = orig[starty:endy, startx:endx]
    cv2.rectangle(orig, (startx, starty), (endx, endy), (0, 255, 0), 1)

cv2.imshow("text Detection", orig)
cv2.waitKey(0)

运行上述的代码就可以得到文本检测后的结果了。


文本检测结果

从上面的检测结果可以看到bounding box可以将我们想要的信息获取出来了,那么接下来的一步就是识别这些bounding box中的文本内容了。tesseract是OCR识别中一个现成的方案,所以就试试tesseract。

3. tesseract识别

有了上面的基础,使用tesseract识别就变得非常的简单,首先我们要确保我们的环境中已经安装了tesseract,而且可以在我们的cmd line中调用(即:环境变量中已经配置了它)。
识别的步骤就是讲上述的bounding box获取出来,依次的调用识别接口就可以完成了。


识别结果

识别结果中看到,中间有相当一些字符识别的是不正确的。这个是因为tesseract本来的识别精度就不是特别的高,针对不同场景下的文本识别,如果需要使用tesseract的时候,一般都是需要自己重新训练的。在工程上,一般很少见到直接使用tesseract的,只是在验证阶段初步看看效果的时候才会使用tesseract。

完整代码:

import numpy as np
import cv2
import time
from imutils.object_detection import non_max_suppression
import pytesseract
from PIL import Image

WIDTH = 640
HEIGHT = 800

net_file = "frozen_east_text_detection.pb"
min_confidence = 0.5

image_path = "3.png"
image = cv2.imread(image_path)
orig = image.copy()
(h, w) = image.shape[:2]

# 设置图像的宽和高
(newW, newH) = (WIDTH, HEIGHT)
rW = w / float(newW)
rH = h / float(newH)

# 将图像放缩为指定的大小
image = cv2.resize(image, (newW, newH))
(h, w) = image.shape[:2]

layers = ["feature_fusion/Conv_7/Sigmoid",
          "feature_fusion/concat_3"]

print("[INFO] 加载检测模型")
net = cv2.dnn.readNet(net_file)

blob = cv2.dnn.blobFromImage(image, 1.0, (w, h),
                             (123.68, 116.78, 103.94), swapRB=True, crop=False)

start = time.time()
net.setInput(blob)
(scores, geometry) = net.forward(layers)
end = time.time()

print("[INFO] 检测使用 {:.6f} 秒".format(end - start))

# 从scores中获取行和列
(numrows, numcols) = scores.shape[2:4]
rects = []  
confidences = []

for y in range(0, numrows):
    scoresData = scores[0, 0, y]
    xData0 = geometry[0, 0, y]
    xData1 = geometry[0, 1, y]
    xData2 = geometry[0, 2, y]
    xData3 = geometry[0, 3, y]
    anglesData = geometry[0, 4, y]

    for x in range(0, numcols):
        # 忽略置信度小于指定的概率
        if scoresData[x] < min_confidence:
            continue

        # 计算偏移因子,因为我们得到的特征图将比输入图像小4倍
        (offsetX, offsetY) = (x * 4.0, y * 4.0)

        # 提取旋转角度进行预测,然后计算sin和cosine
        angle = anglesData[x]
        cos = np.cos(angle)
        sin = np.sin(angle)

        # 使用几何体体积导出边界框的宽度和高度
        h = xData0[x] + xData2[x]
        w = xData1[x] + xData3[x]

        # 计算文本预测边界框的开始和结束(x,y)坐标
        endX = int(offsetX + (cos * xData1[x]) + (sin * xData2[x]))
        endY = int(offsetY - (sin * xData1[x]) + (cos * xData2[x]))
        startX = int(endX - w)
        startY = int(endY - h)

        # 将边界框坐标和概率分数添加到各自的列表中
        rects.append((startX, startY, endX, endY))
        confidences.append(scoresData[x])

# 非极大值抑制在弱边界框和重叠边界框上的应用
boxes = non_max_suppression(np.array(rects), probs=confidences)

for (startx, starty, endx, endy) in boxes:
    startx = int(startx * rW)
    starty = int(starty * rH)
    endx = int(endx * rW)
    endy = int(endy * rH)

    roi = orig[starty:endy, startx:endx]
    cv2.rectangle(orig, (startx, starty), (endx, endy), (0, 255, 0), 1)
    roi = cv2.cvtColor(roi, cv2.COLOR_BGR2GRAY)
    val, roi = cv2.threshold(roi, 0, 255, cv2.THRESH_BINARY + cv2.THRESH_OTSU)
    roi = Image.fromarray(roi)
    text = pytesseract.image_to_string(roi)
    cv2.putText(orig, text, (startx, starty), cv2.FONT_HERSHEY_COMPLEX, 0.8, (0, 0, 255), 1)

cv2.imshow("text Detection", orig)
cv2.waitKey(0)

你可能感兴趣的:(集装箱OCR:EAST和tesseract)