五、opencv-python图像处理高级操作（2）——形态学操作

本章学习目标：

理解图像的邻域，连通性

了解不同的形态学操作：腐蚀、膨胀、开闭运算、礼帽与黑帽等，及其不同操作之间的关系

一、连通性

1、连通

在图像中，最小的单位是像素，每个像素周围有8个邻接像素，常见的邻接关系有3种：4邻接、8邻接和D邻接。分别如图所示：

4邻接：像素p(x,y)的4邻域是：(x+1,y)；(x-1,y)；(x,y+1)；(x,y-1)，用N4(p)表示像素p的4邻接
D邻接：像素p(x, y)的D邻域是：对角上的点（x+1, y+1; (x+1, y-1); (x-1, y+1); (x-1, y-1)，用ND(p)表示像素p的D领域。
8邻接：像素p(x,y)的8邻域是：4邻域的点+D邻域的点，用N8(P)表示像素p的8邻域

连通性是描述区域和边界的重要概念，两个像素联通的两个必要条件是：
1、两个像素的位置是否相邻
2、两个像素的灰度值是否满足特定的相似性准则（或是否相等）
根据连通性的定义，有4联通、8联通、m联通三种。
4联通：对于具有值V的像素p和q，如果q在集合N4(p)中，则称这两个像素是4连通。
8联通，对具有值V的像素p和q，如果q在集合N8(P)中，则称这两个像素是8连通。

对于具有值V的像素p和q，如果：
1、q在集合N4(p)中，或
2、q在集合ND(p)中，并且N4(p)与N4(q)的交集为空（没有V值的像素）
则称这两个像素是m连通的，即4连通和D连通的混合连通。

这里我还不知道连通具体有什么用，等后边再看，如果十分重要的话，我会再把概念理一遍。

二、形态学操作

形态学转换是基于图像形状的一些简单操作。它通常在二进制图像上执行。腐蚀和膨胀是两个基本的形态学运算符。然后它的变体形式如开运算、闭运算、礼帽和黑帽等。

1、腐蚀和膨胀

腐蚀和膨胀是最基本的形态学操作，腐蚀和膨胀都是针对白色部分（高亮部分）而言的。
膨胀就是使图像中高亮部分扩张，效果图拥有比原图更大的高亮区域；
腐蚀是原图中的高亮区域被蚕食，效果图拥有比原图更小的高亮区域。
膨胀就是求局部最大值的操作。
腐蚀就是求局部最小值的操作。

（1）腐蚀

具体操作是：用一个结构元素扫描图像中的每一个像素，用结构元素中的每一个像素与其覆盖的像素做“与”操作，如果都为1，则该像素为1，否则为0，如下图所示，结构A被结构B腐蚀后。

腐蚀的作用是消除物体边界点，使目标缩小，可以消除小于结构元素的噪声点。

1）API

   cv.erode(img,kernel,iterations)

参数：
img: 要处理的图像
kernel: 核结构
iterations: 腐蚀的次数，默认是1

（2）膨胀

具体操作是：用一个结构元素扫描图像的每一个像素，用结构元素中的每一个像素与其覆盖的像素做“与”操作，如果都为0，则该像素为0，否则为1。如下图所示，结构A被结构B膨胀后

膨胀的作用是：将物体接触的所有背景点合并到物体中，使目标增大，可填补目标中的孔洞。

1）API

   cv.dilate(img,kernel,iterations)

参数：
img: 要处理的图像
kernel: 核结构
iterations: 腐蚀的次数，默认是1

（3）代码示例

我们使用一个5*5的卷积核实现腐蚀和膨胀的运算：

import numpy as np
import cv2 as cv
import matplotlib.pyplot as plt
# 1 读取图像
img = cv.imread("./image/image3.png")
# 2 创建核结构
kernel = np.ones((5, 5), np.uint8)

# 3 图像腐蚀和膨胀
erosion = cv.erode(img, kernel) # 腐蚀
dilate = cv.dilate(img,kernel) # 膨胀

# 4 图像展示
fig,axes=plt.subplots(nrows=1,ncols=3,figsize=(10,8),dpi=100)
axes[0].imshow(img)
axes[0].set_title("原图")
axes[1].imshow(erosion)
axes[1].set_title("腐蚀后结果")
axes[2].imshow(dilate)
axes[2].set_title("膨胀后结果")
plt.show()

2、开闭运算

开运算和闭运算是将腐蚀和膨胀按照一定的次序进行处理。但这两者并不是可逆的，即先开后闭并不能得到原来的图像。

（1）开运算

开运算是先腐蚀后膨胀，其作用是：分离物体，消除小区域。
特点：消除噪点，去除小的干扰块，而不影响原来的图像。

（2）闭运算

闭运算与开运算相反，是先膨胀后腐蚀，作用是消除“闭合”物体里面的孔洞，
特点：可以填充闭合区域。

（3）API

cv.morphologyEx(img, op, kernel)

参数：
img: 要处理的图像
op: 处理方式：若进行开运算，则设为cv.MORPH_OPEN，若进行闭运算，则设为cv.MORPH_CLOSE
Kernel： 核结构

（4）示例

次数使用10*10的核结构进行开闭运算的实现

import numpy as np
import cv2 as cv
import matplotlib.pyplot as plt
# 1 读取图像
img1 = cv.imread("./image/image5.png")
img2 = cv.imread("./image/image6.png")
# 2 创建核结构
kernel = np.ones((10, 10), np.uint8)
# 3 图像的开闭运算
cvOpen = cv.morphologyEx(img1,cv.MORPH_OPEN,kernel) # 开运算
cvClose = cv.morphologyEx(img2,cv.MORPH_CLOSE,kernel)# 闭运算
# 4 图像展示
fig,axes=plt.subplots(nrows=2,ncols=2,figsize=(10,8))
axes[0,0].imshow(img1)
axes[0,0].set_title("原图")
axes[0,1].imshow(cvOpen)
axes[0,1].set_title("开运算结果")
axes[1,0].imshow(img2)
axes[1,0].set_title("原图")
axes[1,1].imshow(cvClose)
axes[1,1].set_title("闭运算结果")
plt.show()

代码运算得到的效果图如下所示：

3、礼帽与黑帽

（1）礼帽运算

原图像与“开运算”的结构图之差，如下式计算所得：

因为开运算带来的结果是放大了裂缝或者局部低亮度的区域，因此，从原图中减去开运算后的图，得到的效果图突出了比原图轮廓 周围的区域更明亮的区域，且这一操作和选择的核大小有关。
礼帽的使用场景
☆礼帽运算用来分离比邻近点亮一点的斑块。当一副图像具有大幅的背景的时候，而微小物品比较有规律的情况下，可以使用礼帽运算进行背景提取。

（2）黑帽运算

为”闭运算“的结果图与原图像之差。数学表达式为：
黑帽运算后的效果图突出了比原图轮廓周围的区域更暗的区域，且这一操作和选择的核的大小相关。
黑帽运算用来分离比邻近点暗一些的斑块。

（3）API

cv.morphologyEx(img, op, kernel)

参数：
img: 要处理的图像
op: 处理方式：
Kernel： 核结构

（4）代码示例

import numpy as np
import cv2 as cv
import matplotlib.pyplot as plt
# 1 读取图像
img1 = cv.imread("./image/image5.png")
img2 = cv.imread("./image/image6.png")
# 2 创建核结构
kernel = np.ones((10, 10), np.uint8)
# 3 图像的礼帽和黑帽运算
cvOpen = cv.morphologyEx(img1,cv.MORPH_TOPHAT,kernel) # 礼帽运算
cvClose = cv.morphologyEx(img2,cv.MORPH_BLACKHAT,kernel)# 黑帽运算
# 4 图像显示
fig,axes=plt.subplots(nrows=2,ncols=2,figsize=(10,8))
axes[0,0].imshow(img1)
axes[0,0].set_title("原图")
axes[0,1].imshow(cvOpen)
axes[0,1].set_title("礼帽运算结果")
axes[1,0].imshow(img2)
axes[1,0].set_title("原图")
axes[1,1].imshow(cvClose)
axes[1,1].set_title("黑帽运算结果")
plt.show()

得到的实例图片：

总结

本章学习内容回顾：

1、连通性

2、形态学操作

（1）腐蚀和膨胀

（2）开闭运算

（3）礼帽与黑帽