最近在研究人工智能和图像识别技术，涉及到一个车牌号码识别的研究，网上查找到的方案有tensorflow和opencv，opencv也是比较成熟的方案，先从简单的开始，以下是关于使用opencv实现车牌号码提取的部分。
说明
本文是我学习过程的笔记，在某些的场景下的识别率较高，但是不足以在实际的商业环境上使用，因为准确率还没有达到工业水平，还需要通过调整算法，机器学习相关技术才能有较高的准确度。车牌识别不是我的最终目标，我主要是要研究人工智能和图像识别相关的技术，本文只是提供一些图像识别的思路。下面每个步骤都不是必须的，而且还有很多的优化空间，如果你参考本文做实验，可以调整不同的参数，删除部分的步骤查看效果。
整体流程
- 高斯模糊
- 图片灰度化
- Sobel算子
- 图像二值化
- 闭操作
- 膨胀腐蚀
- 中值滤波
- 查找轮廓
- 判断车牌区域
原图
image.png
高斯模糊
通过高斯模糊，可以去除部分的干扰，让识别更加准确，做实验可以屏蔽代码，看看这一步对结果的影响。
import cv2
rawImage = cv2.imread("image.jpg")
image = cv2.GaussianBlur(rawImage, (3, 3), 0)
# 预览效果
cv2.imshow('image', image)
cv2.waitKey(0)
image.png
图片灰度化
将彩色图像转化成为灰度图像。
image = cv2.cvtColor(image, cv2.COLOR_RGB2GRAY)
image.png
Sobel算子（X方向）
图像边缘检测。
Sobel_x = cv2.Sobel(image, cv2.CV_16S, 1, 0)
# Sobel_y = cv2.Sobel(image, cv2.CV_16S, 0, 1)
absX = cv2.convertScaleAbs(Sobel_x) # 转回uint8
# absY = cv2.convertScaleAbs(Sobel_y)
# dst = cv2.addWeighted(absX, 0.5, absY, 0.5, 0)
image = absX
image.png
图像二值化
就是将图像上的像素点的灰度值设置为0或255,图像呈现出明显的只有黑和白。
ret, image = cv2.threshold(image, 0, 255, cv2.THRESH_OTSU)
image.png
闭操作
闭操作可以将目标区域连成一个整体，便于后续轮廓的提取。
kernelX = cv2.getStructuringElement(cv2.MORPH_RECT, (17, 5))
image = cv2.morphologyEx(image, cv2.MORPH_CLOSE, kernelX)
image.png
膨胀腐蚀
通过膨胀连接相近的图像区域，通过腐蚀去除孤立细小的色块。
kernelX = cv2.getStructuringElement(cv2.MORPH_RECT, (20, 1))
kernelY = cv2.getStructuringElement(cv2.MORPH_RECT, (1, 19))
image = cv2.dilate(image, kernelX)
image = cv2.erode(image, kernelX)
image = cv2.erode(image, kernelY)
image = cv2.dilate(image, kernelY)
image.png
中值滤波
去除图像或者其它信号中的噪声。
image = cv2.medianBlur(image, 15)
image.png
查找轮廓
tmp, contours, w1 = cv2.findContours(image, cv2.RETR_TREE, cv2.CHAIN_APPROX_SIMPLE)
# 绘制轮廓
image = cv2.drawContours(rawImage, contours, -1, (0, 0, 255), 3)
cv2.imshow('image', image)
image.png
判断车牌区域
我这里的判断比较简单是判断，宽高大于2比1的，实际上应该更加复杂一些，仅供学习参考。
for item in contours:
rect = cv2.boundingRect(item)
x = rect[0]
y = rect[1]
weight = rect[2]
height = rect[3]
if weight > (height * 2):
image = rawImage[y:y + height, x:x + weight]
cv2.imshow('image', image)
image.png
完整代码
#!/usr/bin/env python
# -*- coding:utf-8 -*-
import cv2
# 读取图片
rawImage = cv2.imread("photo.jpg")
# 高斯模糊，将图片平滑化，去掉干扰的噪声
image = cv2.GaussianBlur(rawImage, (3, 3), 0)
# 图片灰度化
image = cv2.cvtColor(image, cv2.COLOR_RGB2GRAY)
# Sobel算子（X方向）
Sobel_x = cv2.Sobel(image, cv2.CV_16S, 1, 0)
# Sobel_y = cv2.Sobel(image, cv2.CV_16S, 0, 1)
absX = cv2.convertScaleAbs(Sobel_x) # 转回uint8
# absY = cv2.convertScaleAbs(Sobel_y)
# dst = cv2.addWeighted(absX, 0.5, absY, 0.5, 0)
image = absX
# 二值化：图像的二值化，就是将图像上的像素点的灰度值设置为0或255,图像呈现出明显的只有黑和白
ret, image = cv2.threshold(image, 0, 255, cv2.THRESH_OTSU)
# 闭操作：闭操作可以将目标区域连成一个整体，便于后续轮廓的提取。
kernelX = cv2.getStructuringElement(cv2.MORPH_RECT, (17, 5))
image = cv2.morphologyEx(image, cv2.MORPH_CLOSE, kernelX)
# 膨胀腐蚀(形态学处理)
kernelX = cv2.getStructuringElement(cv2.MORPH_RECT, (20, 1))
kernelY = cv2.getStructuringElement(cv2.MORPH_RECT, (1, 19))
image = cv2.dilate(image, kernelX)
image = cv2.erode(image, kernelX)
image = cv2.erode(image, kernelY)
image = cv2.dilate(image, kernelY)
# 平滑处理，中值滤波
image = cv2.medianBlur(image, 15)
# 查找轮廓
tmp, contours, w1 = cv2.findContours(image, cv2.RETR_TREE, cv2.CHAIN_APPROX_SIMPLE)
for item in contours:
rect = cv2.boundingRect(item)
x = rect[0]
y = rect[1]
weight = rect[2]
height = rect[3]
if weight > (height * 2):
# 裁剪区域图片
chepai = rawImage[y:y + height, x:x + weight]
cv2.imshow('chepai'+str(x), chepai)
# 绘制轮廓
image = cv2.drawContours(rawImage, contours, -1, (0, 0, 255), 3)
cv2.imshow('image', image)
cv2.waitKey(0)
cv2.destroyAllWindows()