任意的灰度图像可以被看做是地质学表面,高亮度的地方是山峰,低亮度的地方是山谷。给每个孤立的山谷(局部最小值)不同颜色的水(标签),当水涨起来,根据周围的山峰(梯度),不同的山谷也就是不同的颜色会开始合并,要避免这个,你可以在水要合并的地方建立障碍,直到所有山峰都被淹没。你所创建的障碍就是分割结果,这个就是分水岭的原理,但是这个方法会分割过度,因为有噪点,或者其他图像上的错误。所以OpenCV实现了一个机遇标记的分水岭算法,你可以指定哪些是要合并的点,哪些不是,这是一个交互式的图像分割,我们要做的是给不同的标签。给我们知道是前景或者是目标用一种颜色加上标签,给我们知道是背景或者非目标加上另一个颜色,最后不知道是什么的区域标记为0. 然后使用分水岭算法。
看下面的硬币图像,硬币互相之间挨着,即便你用了阈值,他们也是相互连接。
我们先找到大概的硬币,使用Otsu 二值化。
import numpy as np
import cv2
from matplotlib import pyplot as plt
img = cv2.imread('coins.png')
gray = cv2.cvtColor(img,cv2.COLOR_BGR2GRAY)
ret, thresh = cv2.threshold(gray,0,255,cv2.THRESH_BINARY_INV+cv2.THRESH_OTSU)
现在我们需要去掉小的白色噪点,我们使用形态学开运算。要去除小的洞,我们可以用形态学闭运算。所以现在我们知道了靠近目标中心的区域是前景,离目标远的是背景,只有硬币边缘区域是未知的。
所以我们需要解出我们去人他们是硬币的区域。腐蚀法去掉边缘的像素,剩下的就是硬币,这在目标不是挨着的情况下是可行的,但是由于他们是互相挨着的,更好的选择是用距离转换,配合一个合适的阈值。接着我们需要找到我们去人不是硬币的区域。要做这个,我们对结果进行膨胀,膨胀会把目标边缘扩展到背景,这样,我们可以确保结果的背景区域确实是背景,由于边缘被去掉了。
剩下的区域就是我们不确认的了,有可能是硬币有可能是背景,分水岭算法应该能找到,这些区域一般是在硬币边界周围,前景和背景交接(或者两个硬币交接),我们叫他们边界,可以从sure_gb里面减去sure_fg得到。
# noise removal
kernel = np.ones((3,3),np.uint8)
opening = cv2.morphologyEx(thresh,cv2.MORPH_OPEN,kernel, iterations = 2)
# sure background area
sure_bg = cv2.dilate(opening,kernel,iterations=3)
# Finding sure foreground area
dist_transform = cv2.distanceTransform(opening,cv2.DIST_L2,5)
ret, sure_fg = cv2.threshold(dist_transform,0.7*dist_transform.max(),255,0)
# Finding unknown region
sure_fg = np.uint8(sure_fg)
unknown = cv2.subtract(sure_bg,sure_fg)
看结果,在使用阈值过滤的图像里,我们得到了我们确认是硬币的区域,在有些情况下,你可能值对前景分割感兴趣,而不太关心挨着的目标是否要分开。那样的话,你不用距离变换,只用做腐蚀就可以了。腐蚀是用来解出我们确认是前景的。
现在我们知道哪些区域是硬币,哪些是背景。我们创建标记(这个是和原始图像的大小一样的数组,只不过数据类型是int32)然后在里面标记区域,我们确认的区域(前景或者背景)用不同的正整数标记出来,我们不确认的区域保持0,我们可以用cv2.connectedComponents()来做这个,它把图像背景标成0,其他目标用从1开始的整数标记。
但是我们知道如果背景被标成0,分水岭会认为他是未知区域,所以我们要用不同的整数来标记 。
# Marker labelling
ret, markers = cv2.connectedComponents(sure_fg)
# Add one to all labels so that sure background is not 0, but 1
markers = markers+1
# Now, mark the region of unknown with zero
markers[unknown==255]=0
看结果的彩色JET图,暗蓝色区域显示未知区域,确认是硬币的区域是不同颜色。剩下的区域是浅蓝色。
现在我们的标记准备好了,是时候最后一步了,使用分水岭,标记图像会被修改,边界区域会被标记成0.
markers = cv2.watershed(img,markers)
img[markers == -1] = [255,0,0]