OpenCV图像处理——停车场车位识别

总目录

图像处理总目录←点击这里

十八、停车场车位识别

18.1、项目说明

唐宇迪老师的——OPENCV项目实战 学习

本项目的目的是设计一个停车场车位识别的系统,能够判断出当前停车场中哪些车位是空的。
任务共包含部分:

  1. 对图像预处理
    • 从停车场的监控视频中提取图片
    • 对图片进行一系列的预处理,去噪、识别图像中的车位、定位停车位的轮廓
    • 提取每个停车位区域的图片并保存到指定的数据文件路径
  2. 训练神经网络模型,能够识别停车场中有哪些剩余车位
    • 使用keras训练一个2分类的模型,卷积网络选择vgg,采用keras提供的api,并冻结前10层
    • 从视频中取出每一帧,挨个训练,实现实时

着重介绍图像处理(神经网络是一个简单的二分类问题,有车和没车的一个判断)

18.2、图像预处理

18.2.1、读取图像

从视频中截取两张图,进行读取操作
OpenCV图像处理——停车场车位识别_第1张图片

18.2.2、过滤背景

select_rgb_white_yellow 函数实现

HSV各种颜色的取值范围
OpenCV图像处理——停车场车位识别_第2张图片
white_mask = cv2.inRange(image, lower, upper)

低于120,或者高于255的都处理为0(黑色)

OpenCV图像处理——停车场车位识别_第3张图片

将其与原始图像做与操作,这样的话,只有原始图像是255的像素点留下来了,把无关的操作过滤掉

cv2.bitwise_and(image, image, mask=white_mask)

18.2.3、灰度图

convert_gray_scale 函数实现

cv2.cvtColor(image, cv2.COLOR_RGB2GRAY)

OpenCV图像处理——停车场车位识别_第4张图片

18.2.4、边缘检测

detect_edges 函数实现

cv2.Canny(image, low_threshold, high_threshold)

OpenCV图像处理——停车场车位识别_第5张图片

18.2.5、裁剪区域

select_region 函数实现

手动画点

rows, cols = image.shape[:2]
pt_1 = [cols * 0.05, rows * 0.90]
pt_2 = [cols * 0.05, rows * 0.70]
pt_3 = [cols * 0.30, rows * 0.55]
pt_4 = [cols * 0.6, rows * 0.15]
pt_5 = [cols * 0.90, rows * 0.15]
pt_6 = [cols * 0.90, rows * 0.90]

OpenCV图像处理——停车场车位识别_第6张图片

mask填充

为选定区域填充白色

mask = np.zeros_like(image)
cv2.fillPoly(mask, vertices, 255)

OpenCV图像处理——停车场车位识别_第7张图片

区域切割

cv2.bitwise_and(image, mask)

OpenCV图像处理——停车场车位识别_第8张图片

18.2.6、检测直线

hough_linesdraw_lines函数实现

通过 霍夫变换 (边缘检测后使用)后检测到停车位的方框直线

cv2.HoughLinesP(image, rho=0.1, theta=np.pi / 10, threshold=15, minLineLength=9, maxLineGap=4)

  • rho距离精度
  • theta角度精度
  • threshod超过设定阈值才被检测出线段
  • minLineLengh 线的最短长度,比这个短的都被忽略
  • MaxLineCap 两条直线之间的最大间隔,小于此值,认为是一条直线

检测完之后进行画线操作

OpenCV图像处理——停车场车位识别_第9张图片

18.2.7、区域列车位划分

identify_blocks 函数 实现

过滤部分直线

一列一列的为一组,过滤掉不符合的

        for line in lines:
            for x1, y1, x2, y2 in line:
                if abs(y2 - y1) <= 1 and 25 <= abs(x2 - x1) <= 55:
                    cleaned.append((x1, y1, x2, y2))

直线x1排序

默认是打乱排序的

x1是每一列车位的最左边位置

sorted(cleaned, key=operator.itemgetter(0, 1))

OpenCV图像处理——停车场车位识别_第10张图片

分为n列

找到多个列,相当于每列是一排车
根据线之间的距离进行判断

for i in range(len(list1) - 1):
    distance = abs(list1[i + 1][0] - list1[i][0])
    if distance <= clus_dist:
        if not dIndex in clusters.keys(): clusters[dIndex] = []
        clusters[dIndex].append(list1[i])
        clusters[dIndex].append(list1[i + 1])
    else:
        dIndex += 1

坐标

通过循环,得到每一列的具体坐标(矩形框的四个坐标)

for key in clusters:
    all_list = clusters[key]
    cleaned = list(set(all_list))
    if len(cleaned) > 5:
        cleaned = sorted(cleaned, key=lambda tup: tup[1])
        avg_y1 = cleaned[0][1]
        avg_y2 = cleaned[-1][1]
        avg_x1 = 0
        avg_x2 = 0
        for tup in cleaned:
            avg_x1 += tup[0]
            avg_x2 += tup[2]
        avg_x1 = avg_x1 / len(cleaned)
        avg_x2 = avg_x2 / len(cleaned)
        rects[i] = (avg_x1, avg_y1, avg_x2, avg_y2)
        i += 1

画出车位

通过观察可以看出,右边的区域更符合条件(左边的第一列第二列划分不好)

OpenCV图像处理——停车场车位识别_第11张图片

18.2.8、区域每个车位划分

draw_parking 函数实现

注意第一列和最后一列是单排停车位

其余为双排停车位,分类讨论

for i in range(0, num_splits + 1):
    y = int(y1 + i * gap)
    cv2.line(new_image, (x1, y), (x2, y), color, thickness)
if key > 0 and key < len(rects) - 1:
    # 竖直线
    x = int((x1 + x2) / 2)
    cv2.line(new_image, (x, y1), (x, y2), color, thickness)
            

OpenCV图像处理——停车场车位识别_第12张图片

18.3、训练神经网络

判断车位上面有没有车

18.3.1、切割停车位图片

save_images_for_cnn 函数实现

得到每一个停车位上面的图片,判断是否有车

OpenCV图像处理——停车场车位识别_第13张图片

人工对车位进行分割: 分为有车和没车两种类型

OpenCV图像处理——停车场车位识别_第14张图片

18.3.2、训练模型

train.py文件进行模型训练

使用vgg16模型进行训练

model = applications.VGG16(weights='imagenet', include_top=False, input_shape=(img_width, img_height, 3))

数据量较少,对vgg原模型进行“冻”起来操作,只需要改自己的全连接层和输出层

# 冻起来操作:对前10层的网络结构不进行更改
for layer in model.layers[:10]:
    layer.trainable = False

18.3.3、基于视频的车位检测

predict_on_image 函数处理某一帧的情况

不同时间段的停车位情况

predict_on_video 函数处理视频

OpenCV图像处理——停车场车位识别_第15张图片

你可能感兴趣的:(深度学习,#,OpenCV,Python,opencv,图像处理)