Python-Opencv实现单目标检测

一 简介

目标检测即为在图像中找到自己感兴趣的部分，将其分割出来进行下一步操作，可避免背景的干扰。以下介绍几种基于opencv的单目标检测算法，算法总体思想先尽量将目标区域的像素值全置为1，背景区域全置为0，然后通过其它方法找到目标的外接矩形并分割，在此选择一张前景和背景相差较大的图片作为示例。

环境：python3.7 opencv4.4.0

二 背景前景分离

1 灰度+二值+形态学 轮廓特征和联通组件

根据图像前景和背景的差异进行二值化，例如有明显颜色差异的转换到HSV色彩空间进行分割。
1 原图

2 灰度化

3 二值化

4 形态学处理

5 提取轮廓并找出目标外接矩形
代码封装：

def get_roi_contours(image_path, morph_size, num_morph):
    '''
    参数详解：
    image_path：所需处理图片路径
    morph_size：形态学处理核的大小
    num_morph：进行形态学处理的次数
    '''
    image = cv2.imread(image_path, cv2.IMREAD_COLOR)
    #灰度转换
    gray_image = cv2.cvtColor(image, cv2.COLOR_BGR2GRAY)
    #二值化
    threhold, binary_image = cv2.threshold(gray_image, 0, 255, cv2.THRESH_BINARY_INV+cv2.THRESH_OTSU)
    #形态学操作
    kernel = cv2.getStructuringElement(shape=cv2.MORPH_RECT, ksize=morph_size)
    morph_image = cv2.morphologyEx(binary_image, cv2.MORPH_CLOSE, kernel)
    for i in range(num_morph-1):
        morph_image = cv2.morphologyEx(morph_image, cv2.MORPH_CLOSE, kernel)
    #查找轮廓
    contours, hierarchy = cv2.findContours(morph_image, cv2.RETR_EXTERNAL, cv2.CHAIN_APPROX_SIMPLE)
    #选取轮廓面积最大的轮廓
    area = 0
    max_area_index = 0
    for j in range(len(contours)):
        if area < cv2.contourArea(contours[j]):
            max_area_index = j
            area = cv2.contourArea(contours[j])
    rect = cv2.boundingRect(contours[max_area_index])
    return rect

6 通过联通组件找到外接矩形
代码封装：

def get_roi_ConCom(image_path, morph_size, num_morph):
    '''
    参数详解：
    image_path：所需处理图片路径
    morph_size：形态学处理核的大小
    num_morph：进行形态学处理的次数
    '''
    image = cv2.imread(image_path, cv2.IMREAD_COLOR)
    #灰度转换
    gray_image = cv2.cvtColor(image, cv2.COLOR_BGR2GRAY)
    #二值化
    threhold, binary_image = cv2.threshold(gray_image, 0, 255, cv2.THRESH_BINARY_INV+cv2.THRESH_OTSU)
    #形态学操作
    kernel = cv2.getStructuringElement(shape=cv2.MORPH_RECT, ksize=morph_size)
    morph_image = cv2.morphologyEx(binary_image, cv2.MORPH_CLOSE, kernel)
    for i in range(num_morph-1):
        morph_image = cv2.morphologyEx(morph_image, cv2.MORPH_CLOSE, kernel)
    #联通组件查询
    numlabels, components_img, stats, centers = cv2.connectedComponentsWithStats(morph_image, 8)
    #获取除背景外的所有联通组件
    stats_without_back = stats[1:]
    #获取除背景外的所有联通组件的面积最大值
    max_area = np.max(stats_without_back, axis=0)[-1]
    #获取面积最大联通组件的index
    max_area_index = stats_without_back[:, -1]==max_area
    rect = stats_without_back[max_area_index]
    return np.squeeze(rect)[0:4]

2 Kmeans聚类实现前景和背景的分离

1 kmeans聚类后的图像，由于簇的中心是随机初始化的，所以目标的像素值可能为0，也可能为1，若采用opencv的findContours则要求前景像素值为1。

2 利用轮廓特征找外接矩形
由于Kmeans随机初始化簇中心导致前景目标像素不确定，采用边缘提取的方法再查找轮廓。
边缘图：

代码封装：

def get_roi_Kmeans(image_path):
    image = cv2.imread(image_path, cv2.IMREAD_COLOR)
    image_data = image.reshape(-1, 3).astype(np.float32) #必须要转成浮点类型进行计算
    #簇内平方和，标签和每个簇的中心
    criteria = (cv2.TERM_CRITERIA_EPS + cv2.TERM_CRITERIA_COUNT, 10, 1)
    interia, label, centers = cv2.kmeans(image_data, 2, None, criteria, 5, cv2.KMEANS_RANDOM_CENTERS)
    #二值化，将标签为0的转换为255，即是目标
    label[label==0] = 255
    label[label==1] = 0
    #转换数据类型，轮廓查找要是uint8类型数据
    thresh_img = label.reshape(image.shape[0:2]).astype(np.uint8)
    x_grad = cv2.Sobel(thresh_img, cv2.CV_32F, 1, 0)
    y_grad = cv2.Sobel(thresh_img, cv2.CV_32F, 0, 1)

    x_grad = cv2.convertScaleAbs(x_grad)  #ax + b 线性变换
    y_grad = cv2.convertScaleAbs(y_grad)
    
    dst = cv2.add(x_grad, y_grad, dtype=cv2.CV_16S) #将两种sobel的加起来就可以得到整个边缘
    dst = cv2.convertScaleAbs(dst)
    plt.imshow(dst, cmap='gray')
    #轮廓查找目标必须为1
    contours, hierarchy = cv2.findContours(dst, cv2.RETR_EXTERNAL, cv2.CHAIN_APPROX_SIMPLE)
    #获取外接矩形
    rect = cv2.boundingRect(contours[0])
    return rect

三 总结

单目标检测较为简单，只要合理利用目标和背景的差异便可将其分离出来。当然单目标检测的方法还有很多，比如有目标模板的时候可以采用模板匹配或者均值漂移，有足够的数据集时也可采用机器学习和深度学习方法。