基于opencv-python实现直线检测-20221127工作总结

参考

1. https://blog.csdn.net/jirryzhang/article/details/74360141
2. https://www.bilibili.com/video/BV1bb411b7VQ/?spm_id_from=333.788.recommend_more_video.10&vd_source=f2ab20c8f0cbf7a4a50f47a7e65cf770
3. https://blog.csdn.net/weixin_42618420/article/details/106097270

一、直线检测

1.1 霍夫变换直线检测——HoughLinesP

1.1.1原理

核心思想：二维平面中的每一条直线都对应唯一的一组（r，θ）
由上图写出直线公式：

整理得：

对于图像上的任意一点，通过遍历r（或θ）就可以得到一系列的（r，θ），对边缘（Canny算子提取的图像边缘二值化图片）上的每个点进行遍历，那么位于同一直线上的点的（r，θ）肯定经过同一个（r0，θ0），这个（r0，θ0）对应的直线就是我们检测到的直线啦。（就是投票的思想）

Hough直线检测由于缺乏筛选验证的部分因此可能导致过拟合或者欠拟合（实际上是中间参数选取不合理导致）——也就是说使用Hough直线检测针对不同的图片要使用不同的参数（调试）。

1.1.2 HoughlinesP（）函数

void HoughLinesP(InputArray image,  double rho, double theta, int threshold, OutputArray lines, double minLineLength=0, double maxLineGap=0 )

• image 输入的二值图片（边缘检测后）
• rho 以像素为单位的距离精度（参考上面的图，图中以1为距离精度，也就是r一次变化1个单位）
• theta 以弧度为单位的角度精度（上图中的角度精度是90°，实际应用时当然不能这么大）
• threshold 累加平面的阈值参数，累加平面中的某一数值必须大于阈值才能被判定为直线（也就是得有足够多的点在这条直线上，至于到底多少是足够多可以自己设定）
• 输出，随便设。该函数的输出为储存着检测出的所有直线的起点和终点坐标的np.ndarray
• minLineLength 默认值为0，最小线段长度，比这个设定参数短的线段不能被显现（很好理解）
• maxLineGap 默认值为0，允许将同一行点与点连接起来的最大距离

可以看出，后三个参数threshold、minLineLength、maxLineGap决定着直线检测的效果和精度，阈值越大、minLineLength越长、maxLineGap越小，检测的条件越严苛，检测得也就越准，但也会出现检测不出来的情况。

1.1.3 代码

import cv2
import numpy as np
import math

def cv_show(name,img):
    cv2.imshow(name, img)
    cv2.waitKey(0)
    cv2.destroyAllWindows()

img = cv2.imread('22-2.tif')
img = img[:,650:1050]
#cv_show('1',img)
img_gray = cv2.cvtColor(img,cv2.COLOR_BGR2GRAY)
#cv_show('1',img_gray)
img_gaus = cv2.GaussianBlur(img_gray,(7,7),0)
#cv_show('1',img_gaus)
ret,dst = cv2.threshold(img_gaus,53,255,cv2.THRESH_BINARY)
#cv_show('1',dst)
img_edge = cv2.Canny(dst,50,50)
#cv_show('1',img_edge)
#h,w = img_gray.shape[:2]
threshold = 150 #累加平面的阈值参数，累加平面中某一数值必须大于阈值才能被判定为直线
minLineLength = 1180  #默认值0最小线段长度，小于该长度的线段不被显现
maxLineGap = 100  #默认值为0，允许将# 同一行点与点连接起来
# 的最大距离
lines = cv2.HoughLinesP(img_edge,1,np.pi/180,threshold,2,minLineLength,maxLineGap)
print(lines.shape)
#length = []
for line in lines:
    line=line.reshape(4)
    #length.append(math.sqrt((line[0] - line[2]) ** 2 + (line[1] - line[3]) ** 2))
    cv2.line(img,(line[0],line[1]),(line[2],line[3]),(0,0,255),1)

#print(length)
cv_show('img',img)
cv2.imwrite('22_line.tif',img)

几点说明：

• 针对本次实验的图像，直接提取边缘效果极差，所以代码中先进行了阈值处理再提取边缘；
• 感兴趣区域的参数，cv2.threshold阈值处理中的阈值设置，cv2.HoughLinesP中的后三个参数均应根据读取图片的实际情况进行调整；
• 通过输出lines的形状信息print(lines.shape)，可以确定检测出的直线数量。

cv2.line（）函数
作用：画直线
cv2.line(img, pt1, pt2, color[, thickness[, lineType[, shift]]])

• img：要在哪个图上画线就输入哪个图；
• pt1：直线起点坐标；
• pt2：直线终点坐标；
• color：当前绘画的颜色，如在BGR模式下，传递(255,0,0)表示蓝色画笔。灰度图下，只需要传递亮度值即可；
• thickness：画笔的粗细，线宽，若是-1表示画封闭图像，如填充的圆。默认值是1；
• lineType：线条的类型，如8-connected类型、anti-aliased线条（反锯齿），默认情况下是8-connected样式ide，cv2.LINE_AA表示反锯齿线条，在曲线的时候视觉效果更佳。

1.1.4 检测效果

1.2 FLD算法

• LSD算法在部分opencv3版本和全部4版本中不再允许使用（许可证问题），FLD作为替换，可以理解为快速LSD算法；
• FLD算法（或者说LSD算法）通过对图像局部分析，得出直线的像素点集，再通过假设参数进行验证求解，将像素点集合与误差控制集合合并，进而自适应控制误检的数量 。由于LSD算法是对图像的局部分析，所以对于特别模糊的目标，或小目标，LSD是具有较大优势的。这也是它不适用于本例图片的原因；
• 因为没有特别清晰的教程，这里就不详细写原理了~

FLD在opencv-contrib-python中，要先安装。

1.2.1 报错AttributeError: module ‘cv2.cv2’ has no attribute ‘ximgproc’

AttributeError: module 'cv2.cv2' has no attribute 'ximgproc'

按照网上的教程，先补个包

pip install opencv-contrib-python

再来

AttributeError: module 'cv2' has no attribute 'gapi_wip_gst_GStreamerPipeline'

原因是opencv-python和opencv-contrib-python只能留一个
（单独卸载opencv-python没解决问题）
这里把opencv-python和opencv-contrib-python再安装一次opencv-contrib-python
问题解决了（撒花）

1.2.2 FLD有关函数

opencv中的FLD类中有下面三个函数：

• createFastLineDetector（）
• detect（）找直线，传入的参数就是要找直线的图像；
• drawSegments（）在图上把直线画出来，输入就是要画直线的图像和detect的输出。

下面重点说明createFastLineDetector（）函数
https://docs.opencv.org/3.3.1/df/d4c/classcv_1_1ximgproc_1_1FastLineDetector.html
以下为opencv官方代码中对该函数的说明：

 // Create FLD detector
    // Param               Default value   Description
    // length_threshold    10            - Segments shorter than this will be discarded
    // distance_threshold  1.41421356    - A point placed from a hypothesis line
    //                                     segment farther than this will be
    //                                     regarded as an outlier
    // canny_th1           50            - First threshold for
    //                                     hysteresis procedure in Canny()
    // canny_th2           50            - Second threshold for
    //                                     hysteresis procedure in Canny()
    // canny_aperture_size 3             - Aperturesize for the sobel
    //                                     operator in Canny()
    // do_merge            false         - If true, incremental merging of segments
    //                                     will be perfomred
    int length_threshold = 10;
    float distance_threshold = 1.41421356f;
    double canny_th1 = 50.0;
    double canny_th2 = 50.0;
    int canny_aperture_size = 3;
    bool do_merge = false;
    Ptr<FastLineDetector> fld = createFastLineDetector(length_threshold,
            distance_threshold, canny_th1, canny_th2, canny_aperture_size,
            do_merge);
    vector<Vec4f> lines_fld;

该函数的功能可以理解为创建一个LSD对象，其输入参数包括：

• length_threshold：默认10，只有大于阈值长度的直线才会被检测到；
• distance_threshold：默认1.41421356，距离假设线段更远的点将被视为异常值；
• canny_th1：默认50，Canny边缘检测的第一个阈值（没错，这个函数内部会对图像进行边缘检测，所以无需传入边缘检测后的图）；
• canny_th2：默认50，Canny边缘检测第二个阈值：
• canny_aperture_size：默认3，我理解的是Canny边缘检测中做梯度计算那一步的Sobel算子的大小；
• do_merge：默认False，是否对短直线进行合并。

1.2.3 代码实现

# coding=utf-8
import cv2
import numpy as np

def cv_show(name,img):
    cv2.imshow(name, img)
    cv2.waitKey(0)
    cv2.destroyAllWindows()

# 读取输入图片
img = cv2.imread("2-2.tif")
img = img[:,650:1050]
# 将彩色图片转换为灰度图片
img_gray = cv2.cvtColor(img,cv2.COLOR_BGR2GRAY)
# 滤波
img_gaus = cv2.GaussianBlur(img_gray,(7,7),0)
# 阈值处理，为了更好的提取边缘
ret,dst = cv2.threshold(img_gaus,45,255,cv2.THRESH_BINARY)
#cv_show('1',dst)
#img_edge = cv2.Canny(dst,50,80)
#cv_show('1',img_edge)
# 创建一个FLD对象
fld = cv2.ximgproc.createFastLineDetector(length_threshold = 8, distance_threshold = 1, canny_th1 = 20, canny_th2 = 25, canny_aperture_size = 3 , do_merge = True)
#fld = cv2.ximgproc.createFastLineDetector(length_threshold = 10 ,distance_threshold = 1.41421356f ,canny_th1 = 50,canny_th2 = 50,canny_aperture_size = 3,do_merge = False)
# 执行检测结果
dlines = fld.detect(dst)

print(dlines.shape)
# 绘制检测结果
drawn_img = fld.drawSegments(img,dlines)
'''
for dline in dlines:
    x0 = int(round(dline[0][0]))
    y0 = int(round(dline[0][1]))
    x1 = int(round(dline[0][2]))
    y1 = int(round(dline[0][3]))
    cv2.line(img, (x0, y0), (x1,y1), (0,0,255), 1)
'''
# 显示并保存结果
cv_show('img',drawn_img)
cv2.imwrite('2_FLD.tif', drawn_img)

说明：

• 这里输入的是阈值处理后的图片，目的也是为了更好的提取边缘。cv2.ximgproc.createFastLineDetector中直接输入灰度图也是ok的；
• 介绍中可以看到cv2.ximgproc.createFastLineDetector中所有参数都有默认值，因此可以以cv2.ximgproc.createFastLineDetector（）形式直接使用；
• FLD算法（或者说LSD算法）通过对图像局部分析，得出直线的像素点集，再通过假设参数进行验证求解，将像素点集合与误差控制集合合并，进而自适应控制误检的数量 。由于LSD算法是对图像的局部分析，所以对于特别模糊的目标，或小目标，LSD是具有较大优势的。这也是它不适用于本例图片的原因

1.2.4 检测效果

参数设置：

fld = cv2.ximgproc.createFastLineDetector(length_threshold = 30, distance_threshold = 20, canny_th1 = 20, canny_th2 = 25, canny_aperture_size = 3 , do_merge = True)

二、增强算法

只看了一篇论文：
[1]龚云,颉昕宇.一种改进同态滤波的井下图像增强算法[J/OL].煤炭科学技术:1-8[2022-11-27].DOI:10.13199/j.cnki.cst.2021-0774.
没有专门整理，这里不做记录了。