车牌识别系统一：Python-opencv进行车牌定位（HSV颜色空间、Sobel边缘算子）
车牌定位
开题
作为一个刚接触Python以及图像处理的小白，正好这次毕设题目是车牌识别，虽然毕设最终还是只能简单的实现部分车牌的识别，但还是希望能够将其记录下来，既是给自己做做笔记，也是希望能够给其他人一些帮助（因此在文章中可能会出现一些问题，希望大家指正并谅解）。说说正题——车牌识别主要分为三个模块：车牌定位、字符分割和字符识别。本篇文章主要是第一部分车牌定位部分的代码，部分代码参考自下面这位博主（非常感谢博主的分享）：
链接: 车牌定位.
流程图
颜色空间模型采用HSV模型，边缘算子采用Sobel算子。首先，对输入的车牌图像进行高斯滤波、归一化等预处理，然后进行HSV变换，再进行灰度化、二值化处理；随后再对输入图像进行灰度化及二值化处理，并进行Sobel边缘算子计算，然后对得到的颜色检测图像与边缘检测图像进行互相筛选，从而得到最后的消除大部分噪声的车辆图像，然后即可根据我国车牌的特征，车牌长宽为440mm*140mm，其长宽比约为3:1，筛选出车牌图块位置，最后输出轮廓比最接近3：1的图块，即为定位后的车牌。
代码
# coding=gbk
"""
车牌定位模块，尝试将Sobel边缘和基于颜色HSV的两种定位方法互相筛选，实现车牌定位
__author__ = 'kuang'
2019.04.20 7号宿舍楼
"""
import os
import time
import cv2 as cv
import numpy as np
#找出最有可能是车牌的位置
def getSatifyestBox(list_rate):
for index, key in enumerate(list_rate):
list_rate[index] = abs(key - 3)
index = list_rate.index(min(list_rate)) #index函数作用是：若list_rate中存在index括号中的内容，则返回括号内字符串的索引值
return index
def location(img):
#读取图片并统一尺寸
img_resize = cv.resize(img,(640,480),)
#高斯模糊+中值滤波
img_gaus = cv.GaussianBlur(img_resize,(5,5),0) #高斯模糊
img_med = cv.medianBlur(img_gaus,5) #中值滤波
#HSV模型处理，直至二值化
#转换为HSV模型
img_hsv = cv.cvtColor(img_med,cv.COLOR_BGR2HSV) #hsv模型
lower_blue = np.array([100,40,50])
higher_blue = np.array([140,255,255])
mask = cv.inRange(img_hsv,lower_blue,higher_blue) #掩膜操作
img_res = cv.bitwise_and(img_med,img_med,mask=mask)
#灰度化+二值化
img_gray_h = cv.cvtColor(img_res,cv.COLOR_BGR2GRAY) #转换了灰度化
ret1,img_thre_h = cv.threshold(img_gray_h,0,255,cv.THRESH_BINARY+cv.THRESH_OTSU)
#进行Sobel算子运算，直至二值化
img_gray_s = cv.cvtColor(img_med,cv.COLOR_BGR2GRAY)
#sobel算子运算
img_sobel_x = cv.Sobel(img_gray_s,cv.CV_32F,1,0,ksize=3) #x轴Sobel运算
img_sobel_y = cv.Sobel(img_gray_s,cv.CV_32F,0,1,ksize=3)
img_ab_y = np.uint8(np.absolute(img_sobel_y))
img_ab_x = np.uint8(np.absolute(img_sobel_x)) #像素点取绝对值
img_ab = cv.addWeighted(img_ab_x, 0.5, img_ab_y, 0.5,0) #将两幅图像叠加在一起（按一定权值）
#考虑再加一次高斯去噪
img_gaus_1 = cv.GaussianBlur(img_ab,(5,5),0) #高斯模糊
#二值化操作
ret2,img_thre_s = cv.threshold(img_gaus_1,0,255,cv.THRESH_BINARY+cv.THRESH_OTSU) #正二值化
#颜色空间与边缘算子的图像互相筛选
#同时遍历两幅二值图片，若两者均为255，则置255
img_1 = np.zeros(img_thre_h.shape,np.uint8) #重新拷贝图片
height = img_resize.shape[0] #行数
width = img_resize.shape[1] #列数
for i in range(height):
for j in range(width):
h = img_thre_h[i][j]
s = img_thre_s[i][j]
if h ==255 and s ==255 :
img_1[i][j] = 255
else:
img_1[i][j] = 0
# cv.imshow('threshold',img_1)
# cv.waitKey(0)
#二值化后的图像进行闭操作
kernel = np.ones((14,18),np.uint8)
img_close = cv.morphologyEx(img_1,cv.MORPH_CLOSE,kernel) #闭操作
img_med_2 = cv.medianBlur(img_close,5)
# cv.imshow('close',img_med_2)
# cv.waitKey(0)
#查找轮廓
regions = [] #区域
list_rate = []
img_input = img_med_2.copy()
contours,hierarchy = cv.findContours(img_input,cv.RETR_TREE,cv.CHAIN_APPROX_SIMPLE)
# 筛选面积最小的
for contour in contours:
#计算该轮廓的面积
area = cv.contourArea(contour)
#面积小的都筛选掉
if area < 2000:
continue
#轮廓近似,epsilon，是从轮廓到近似轮廓的最大距离。是一个准确率参数，好的epsilon的选择可以得到正确的输出。True决定曲线是否闭合。
epslion = 1e-3 * cv.arcLength(contour,True)
approx = cv.approxPolyDP(contour,epslion,True) #曲线折线化
#找到最小的矩形，该矩形可能有方向
rect = cv.minAreaRect(contour)
#box是四个点的坐标
box = cv.boxPoints(rect)
box = np.int0(box)
#计算高和宽
height = abs(box[0][1] - box[2][1])
width = abs(box[0][0] - box[2][0])
#车牌正常情况下长高比为2-5之间（精确一点可为（2.2,3.6））
ratio = float(width) / float(height)
if ratio > 2 and ratio < 5:
regions.append(box)
list_rate.append(ratio)
#输出车牌的轮廓
print('[INF0]:Detect %d license plates' % len(regions)) #输出疑似车牌图块的数量
index = getSatifyestBox(list_rate)
region = regions[index]
#用绿线画出这些找到的轮廓
#重新申请空间拷贝，因为drawcontours会改变原图片
img_2 = np.zeros(img_resize.shape,np.uint8)
img_2 = img_resize.copy()
cv.drawContours(img_2, [region], 0, (0, 255, 0), 2)
# cv.imshow('result',img_2)
# cv.waitKey(0)
#定位后需对车牌图像做后面的字符分割等处理，因此需要将车牌图块单独截取出来，截取轮廓
Xs = [i[0] for i in region]
YS = [i[1] for i in region]
x1 = min(Xs)
x2 = max(Xs)
y1 = min(YS)
y2 = max(YS)
height_1 = y2 - y1
width_1 = x2 - x1
img_crop = img_resize[y1:y1+height_1,x1:x1+width_1]
# cv.imshow('resultcut',img_crop)
# cv.waitKey(0)
#后面是自己的一些想法，希望能够对截取到的车牌图块再细致处理一下，使其仅保留车牌部分，但作用貌似也不大（苦笑）
#假设再进行一次HSV
img_hsv_1 = cv.cvtColor(img_crop,cv.COLOR_BGR2HSV) #hsv模型
lower_blue_1 = np.array([100,90,90])
higher_blue_1 = np.array([140,255,255])
mask_1 = cv.inRange(img_hsv_1,lower_blue_1,higher_blue_1) #掩膜操作
img_res_1 = cv.bitwise_and(img_crop,img_crop,mask=mask_1)
#灰度化+二值化
img_gray_1 = cv.cvtColor(img_res_1,cv.COLOR_BGR2GRAY) #转换了灰度化
ret3,img_thre_1 = cv.threshold(img_gray_1,0,255,cv.THRESH_BINARY+cv.THRESH_OTSU)
height_2 = img_thre_1.shape[0] #获得行数
width_2 = img_thre_1.shape[1] #获得列数
white_min = []
white_max = []
a = 0
b = 0
#从每行开始遍历，记录每行第一个及最后一个白色像素点的列数
for i in range(height_2):
for j in range(width_2):
h = img_thre_1[i,j]
if h == 255:
a = j
white_min.append(a)
break
a = min(white_min)
for q in range(height_2-1,-1,-1):
for w in range(width_2-1,-1,-1):
ps = img_thre_1[q,w]
if ps == 255:
b = w
white_max.append(b)
break
b = max(white_max)
white_min1 = []
white_max1 = []
c = 0
d = 0
#从每一列开始遍历，记录每一行第一个白色像素点及最后一个像素点的行数
for i in range(width_2):
for j in range(height_2):
h = img_thre_1[j,i]
if h == 255:
c = j
white_max1.append(c)
break
c = min(white_max1)
for q in range(width_2-1,-1,-1):
for w in range(height_2-1,-1,-1):
ps = img_thre_1[w,q]
if ps == 255:
d = w
white_min1.append(d)
break
d = max(white_min1)
img_cut = img_crop[c:d,a:b]
# cv.imshow('final',img_cut)
# cv.waitKey(0)
return img_cut
if __name__ == "__main__":
img = cv.imread("XXX.jpg") #输入自己的图片
cv.imshow("plate",img)
cv.waitKey(0)
img_p = location(img)
cv.imshow("plate",img_p)
cv.waitKey(0)
采用颜色边缘对车牌进行定位，在复杂环境下效果不是很好，只能是初学者用来练练手，如果诸位在现实应用中涉及到车牌识别，可以去参考这位博主分享的第三方库HyperLPR的使用，HyperLPR的使用仅几行代码，且效果更佳：
链接: HyperLPR的使用.
实现效果
存在的问题
在代码中并未实现车牌的垂直和水平倾斜校正（因为在定位后的车牌部分存在边框，因此可以使用霍夫变换进行校正，但是有些定位的车牌并不包含边框，此时使用霍夫变换就会出现误校正了），希望各位大佬能够给小弟指点指点迷津（感谢感谢！！！）