OpenCV-Python系列四：图像分割(2)--梯度

上一期提到的图像阈值处理，不仅可以实现获取你想要的目标区域(作为mask使用)，还可以帮你获取图像的边缘信息，那关于图像边缘，本期将从另外的角度来处理。

你所看到的图像边缘，是由于图像像素值存在变化，为了说明，这里以灰度图像为例，如果图像的灰阶值不变，也就不存在过渡边缘(图左)，只有当灰阶值发生变化时，就出现了你的目标物--边缘(图右)。

图像边缘的产生

使用梯度计算(一阶导数)会在边缘处出现极值，而在无灰阶变化的图像中其值为0。

参考博客：Laplacian算子https://blog.csdn.net/sunny2038/article/details/9188441

1.使用laplacian算子来获取图像的边缘信息：

dst = cv2.Laplacian(src, ddepth[, dst[, ksize[, scale[, delta[, borderType]]]]])
ddepth:图像的深度，-1表示采用的是与原图像相同的深度。目标图像的深度必须大于等于原图像的深度;
dst: 目标图像；
ksize：是算子的大小，必须为1、3、5、7。默认为1。
scale：是缩放导数的比例常数，默认情况下没有伸缩系数；
delta：是一个可选的增量，将会加到最终的dst中，同样，默认情况下没有额外的值加到dst中；
borderType：是判断图像边界的模式。这个参数默认值为cv2.BORDER_DEFAULT。

import cv2

img=cv2.imread('test_img.jpg')

img2gray=cv2.cvtColor(img,cv2.COLOR_BGR2GRAY)

laplacian_img = cv2.Laplacian(img2gray, -1, ksize =3, delta = 5)

cv2.imshow('gray_img', img2gray)
cv2.imshow('Laplacian',laplacian_img)
cv2.waitKey(0)
cv2.destroyAllWindows()

laplacian处理

对边缘信息与背景差异较大的场景，你也可以使用threshold分割，不过若阈值不好选取，Laplacian梯度算子就不失为一直尝试方案，而且上网看看，关于Laplacian算子还可以用来判断图像的模糊程度，这个在相机的自动对焦当中，是否可以尝试判断下？

Laplacian针对图像模糊程度的判断参考博客：
1.利用Laplacian变换进行图像模糊检测https://www.cnblogs.com/arkenstone/p/7900978.html
2.OpenCV 图像清晰度评价（相机自动对焦）https://blog.csdn.net/dcrmg/article/details/53543341

2.在应用场景中，有时候你要找沿某个方向上的边缘信息，来看看Sobel梯度算子能否满足需求。

dst = cv2.Sobel(src, ddepth, dx, dy[, dst[, ksize[, scale[, delta[, borderType]]]]])
dx, dy代表求导的阶数，一般配置为0、1、2，分别代表该方向上不求导，一阶导，二阶导。
其他参数参考cv2,Laplacian算子

# 1. 获取水平方向上的边缘
import cv2

img=cv2.imread('test_img.jpg')

img2gray=cv2.cvtColor(img,cv2.COLOR_BGR2GRAY)
# 对应的求垂直方向边缘信息使用dx = 1, dy =0
sobel_img = cv2.Sobel(img2gray, -1, 0, 1, ksize =3, delta = 5)

cv2.imshow('gray_img', img2gray)
cv2.imshow('Sobel',sobel_img)
cv2.waitKey(0)
cv2.destroyAllWindows()

提取水平方向边缘

若对x方向和y方向均求导，对带有倾斜角度的边缘信息会敏感些：

dx = 1, dy =1效果

不过处理的效果并不理想，图像低灰阶部分边缘信息丢失严重。

3.定制模板来获取边缘

对于sobel，laplacian算子我们可以使用cv2.filter2D()来实现，配置相应的核模板即可，如实现提取水平方向边缘信息：

import cv2
import numpy as np

img=cv2.imread('test_img.jpg')

img2gray=cv2.cvtColor(img,cv2.COLOR_BGR2GRAY)

kennel_x = np.array([[-1, -2, -1], [0, 0, 0], [1, 2, 1]])# 命名kernel_x为了与提取水平方向边缘信息相对应，其命名为kernel_y更合适

# 通过传递kenel来实现你的提取方式
grad_x = cv2.filter2D(img2gray, -1, kernel=kennel_x)

sobel_img = cv2.Sobel(img2gray, -1, 0, 1, ksize =3, delta = 0)

cv2.imshow('grad_x', grad_x)
cv2.imshow('Sobel',sobel_img)
cv2.waitKey(0)
cv2.destroyAllWindows()

水平方向边缘提取

你可以依据实际的应用需求来配置提取边缘的角度信息，这里以45度角(垂直向下逆时针旋转45度)为例：

import cv2
import numpy as np

img=cv2.imread('test45.png')

img2gray=cv2.cvtColor(img,cv2.COLOR_BGR2GRAY)

# 45度kernel核模板
kennel_45 = np.array([[2, -1,-1], [-1, 2 ,-1], [-1, -1, 2]])

grad_45 = cv2.filter2D(img2gray, -1, kernel=kennel_45)

cv2.imshow('grad_45', grad_45)
cv2.imshow('img',img2gray)
cv2.waitKey(0)
cv2.destroyAllWindows()

45度方向边缘提取

参考博客：OpenCV图像梯度https://blog.csdn.net/qq_36387683/article/details/80352757

补充说明：对于Sobel算子中第2个参数，使用-1表示与原图像深度一致，在多次测试中发现其效果比较理想，不过对于你所处理的8bit图像，需要考虑从1到0，梯度值为负而被截断的情况，会丢失从高灰阶到低灰阶过度的边缘信息,如下图，请留意。

sobel算子注意的问题

对此，你可以采用下面的方式来解决：

import cv2

src_img = cv2.imread('black_rect.png', -1)
gray_img = cv2.cvtColor(src_img, cv2.COLOR_BGR2GRAY)

# 将数据类型设置更高，然后取绝对值将其转回cv2.CV_8U
grad_x = cv2.Sobel(gray_img, cv2.CV_16S, 1, 0, ksize=5)
abs_grad_x = cv2.convertScaleAbs(grad_x)

cv2.imshow('gray_img', gray_img)
cv2.imshow('sobel_img', abs_grad_x)

cv2.waitKey(0)
cv2.destroyAllWindows()

解决8bit截断问题

对于opencv-python的图像分割--梯度部分有问题欢迎留言， Have Fun With OpenCV-Python, 下期见。