Opencv4 -Python官方教程学习笔记27---图像分割与Watershed算法

目标

我们将学习使用分水岭算法实现基于标记的图像分割 - 我们将看到：cv.watershed()

理论

任何灰度图像都可以看作是一个地形表面，其中高强度表示山峰，低强度表示山谷。你开始用不同颜色的水(标签)填充每个孤立的山谷(局部最小值)。随着水位的上升，根据附近的山峰(坡度)，来自不同山谷的水明显会开始合并，颜色也不同。为了避免这种情况，你要在水融合的地方建造屏障。你继续填满水，建造障碍，直到所有的山峰都在水下。然后你创建的屏障将返回你的分割结果。这就是Watershed背后的“思想”。你可以访问Watershed的CMM网页，了解它与一些动画的帮助。

但是这种方法会由于图像中的噪声或其他不规则性而产生过度分割的结果。因此OpenCV实现了一个基于标记的分水岭算法，你可以指定哪些是要合并的山谷点，哪些不是。这是一个交互式的图像分割。我们所做的是给我们知道的对象赋予不同的标签。用一种颜色(或强度)标记我们确定为前景或对象的区域，用另一种颜色标记我们确定为背景或非对象的区域，最后用0标记我们不确定的区域。这是我们的标记。然后应用分水岭算法。然后我们的标记将使用我们给出的标签进行更新，对象的边界值将为-1。

代码

下面我们将看到一个有关如何使用距离变换和分水岭来分割相互接触的对象的示例。

考虑下面的硬币图像，硬币彼此接触。即使你设置阈值，它也会彼此接触。

我们先从寻找硬币的近似估计开始。因此，我们可以使用Otsu的二值化。

import numpy as np
import cv2 as cv
from matplotlib import pyplot as plt
path = r'D:\Laboratory\Study\Computer Vision\opencv4-python\fenshuiling.png'  
img = cv.imread(path)     #读取图像,并转化为灰度图像
gray = cv.cvtColor(img,cv.COLOR_BGR2GRAY)
ret, thresh = cv.threshold(gray,0,255,cv.THRESH_BINARY_INV+cv.THRESH_OTSU)
cv.imshow('x',thresh)

现在我们需要去除图像中的任何白点噪声。为此，我们可以使用形态学扩张。要去除对象中的任何小孔，我们可以使用形态学侵蚀。因此，现在我们可以确定，靠近对象中心的区域是前景，而离对象中心很远的区域是背景。我们不确定的唯一区域是硬币的边界区域。

因此，我们需要提取我们可确定为硬币的区域。侵蚀会去除边界像素。因此，无论剩余多少，我们都可以肯定它是硬币。如果物体彼此不接触，那将起作用。但是，由于它们彼此接触，因此另一个好选择是找到距离变换并应用适当的阈值。接下来，我们需要找到我们确定它们不是硬币的区域。为此，我们扩张了结果。膨胀将对象边界增加到背景。这样，由于边界区域已删除，因此我们可以确保结果中背景中的任何区域实际上都是背景。参见下图。
去噪声结果：
剩下的区域是我们不知道的区域，无论是硬币还是背景。分水岭算法应该找到它。这些区域通常位于前景和背景相遇（甚至两个不同的硬币相遇）的硬币边界附近。我们称之为边界。可以通过从sure_bg区域中减去sure_fg区域来获得。

OpenCV中文官方文档

    OpenCV中文官方文档
    OpenCV简介
        0_OpenCV-Python Tutorials
    OpenCV安装
        1_1_OpenCV-Python教程简介
        1_2_在Windows中安装OpenCV-Python
        1_3_在Fedora中安装OpenCV-Python
        1_4_在Ubuntu中安装OpenCV-Python
    OpenCV中的GUI特性
        2_1_图像入门
        2_2_视频入门
        2_3_OpenCV中的绘图功能
        2_4_鼠标作为画笔
        2_5_轨迹栏作为调色板
    核心操作
        3_1_图像的基本操作
        3_2_图像上的算法运算
        3_3_性能衡量和提升技术
    OpenCV中的图像处理
        4_1_改变颜色空间
        4_2_图像几何变换
        4_3_图像阈值
        4_4_图像平滑
        4_5_形态转换
        4_6_图像梯度
        4_7_Canny边缘检测
        4_8_图像金字塔
        4_9_1_OpenCV中的轮廓
        4_9_2_轮廓特征
        4_9_3_轮廓属性
        4_9_4_轮廓：更多属性
        4_9_5_轮廓分层
        4_10_1_直方图-1：查找，绘制，分析
        4_10_2_直方图-2：直方图均衡
        4_10_3_直方图3：二维直方图
        4_10_4_直方图-4：直方图反投影
        4_11_傅里叶变换
        4_12_模板匹配
        4_13_霍夫线变换
        4_14_霍夫圈变换
        4_15_图像分割与分水岭算法
            图像分割与Watershed算法
                目标
                理论
                代码
                附加资源
                练习
        4_16_交互式前景提取使用GrabCut算法
    特征检测与描述
        5_1_理解特征
        5_2_哈里斯角检测
        5_3_Shi-Tomasi拐角探测器和良好的跟踪功能
        5_4_SIFT（尺度不变特征变换）简介
        5_5_SURF简介（加速的强大功能）
        5_6_用于角点检测的FAST算法
        5_7_BRIEF（二进制的鲁棒独立基本特征）
        5_8_ORB（定向快速和旋转简要）
        5_9_特征匹配
        5_10_特征匹配+单应性查找对象
    视频分析
        6_1_如何使用背景分离方法
        6_2_Meanshift和Camshift
        6_3_光流
    相机校准和3D重建
        7_1_相机校准
        7_2_姿态估计
        7_3_对极几何
        7_4_立体图像的深度图
    机器学习
        8_1_理解KNN
        8_2_使用OCR手写数据集运行KNN
        8_3_理解SVM
        8_4_使用OCR手写数据集运行SVM
        8_5_理解K均值聚类
        8_6_OpenCV中的K均值
    计算摄影学
        9_1_图像去噪
        9_2_图像修补
        9_3_高动态范围
    目标检测
        10_1_级联分类器
        10_2_级联分类器训练
    OpenCV-Python Binding
        11_1_OpenCV-Python Bindings

 

    Docs » OpenCV中的图像处理 » 4_15_图像分割与分水岭算法

图像分割与Watershed算法
目标

在本章中， - 我们将学习使用分水岭算法实现基于标记的图像分割 - 我们将看到：cv.watershed()
理论

任何灰度图像都可以看作是一个地形表面，其中高强度表示山峰，低强度表示山谷。你开始用不同颜色的水(标签)填充每个孤立的山谷(局部最小值)。随着水位的上升，根据附近的山峰(坡度)，来自不同山谷的水明显会开始合并，颜色也不同。为了避免这种情况，你要在水融合的地方建造屏障。你继续填满水，建造障碍，直到所有的山峰都在水下。然后你创建的屏障将返回你的分割结果。这就是Watershed背后的“思想”。你可以访问Watershed的CMM网页，了解它与一些动画的帮助。

但是这种方法会由于图像中的噪声或其他不规则性而产生过度分割的结果。因此OpenCV实现了一个基于标记的分水岭算法，你可以指定哪些是要合并的山谷点，哪些不是。这是一个交互式的图像分割。我们所做的是给我们知道的对象赋予不同的标签。用一种颜色(或强度)标记我们确定为前景或对象的区域，用另一种颜色标记我们确定为背景或非对象的区域，最后用0标记我们不确定的区域。这是我们的标记。然后应用分水岭算法。然后我们的标记将使用我们给出的标签进行更新，对象的边界值将为-1。
代码

下面我们将看到一个有关如何使用距离变换和分水岭来分割相互接触的对象的示例。

考虑下面的硬币图像，硬币彼此接触。即使你设置阈值，它也会彼此接触。

我们先从寻找硬币的近似估计开始。因此，我们可以使用Otsu的二值化。

import numpy as np
import cv2 as cv
from matplotlib import pyplot as plt
img = cv.imread('coins.png')
gray = cv.cvtColor(img,cv.COLOR_BGR2GRAY)
ret, thresh = cv.threshold(gray,0,255,cv.THRESH_BINARY_INV+cv.THRESH_OTSU)

现在我们需要去除图像中的任何白点噪声。为此，我们可以使用形态学扩张。要去除对象中的任何小孔，我们可以使用形态学侵蚀。因此，现在我们可以确定，靠近对象中心的区域是前景，而离对象中心很远的区域是背景。我们不确定的唯一区域是硬币的边界区域。

因此，我们需要提取我们可确定为硬币的区域。侵蚀会去除边界像素。因此，无论剩余多少，我们都可以肯定它是硬币。如果物体彼此不接触，那将起作用。但是，由于它们彼此接触，因此另一个好选择是找到距离变换并应用适当的阈值。接下来，我们需要找到我们确定它们不是硬币的区域。为此，我们扩张了结果。膨胀将对象边界增加到背景。这样，由于边界区域已删除，因此我们可以确保结果中背景中的任何区域实际上都是背景。参见下图。

剩下的区域是我们不知道的区域，无论是硬币还是背景。分水岭算法应该找到它。这些区域通常位于前景和背景相遇（甚至两个不同的硬币相遇）的硬币边界附近。我们称之为边界。可以通过从sure_bg区域中减去sure_fg区域来获得。

查看结果。在阈值图像中，我们得到了一些硬币区域，我们确定它们是硬币，并且现在已分离它们。（在某些情况下，你可能只对前景分割感兴趣，而不对分离相互接触的对象感兴趣。在那种情况下，你无需使用距离变换，只需侵蚀就足够了。侵蚀只是提取确定前景区域的另一种方法。）
现在我们可以确定哪些是硬币的区域，哪些是背景。因此，我们创建了标记（它的大小与原始图像的大小相同，但具有int32数据类型），并标记其中的区域。我们肯定知道的区域（无论是前景还是背景）都标有任何正整数，但是带有不同的整数，而我们不确定的区域则保留为零。为此，我们使用cv.connectedComponents()。它用0标记图像的背景，然后其他对象用从1开始的整数标记。

但是我们知道，如果背景标记为0，则分水岭会将其视为未知区域。所以我们想用不同的整数来标记它。相反，我们将未知定义的未知区域标记为0。

# 类别标记
ret, markers = cv.connectedComponents(sure_fg)
# 为所有的标记加1，保证背景是0而不是1
markers = markers+1
# 现在让所有的未知区域为0
markers[unknown==255] = 0

参见JET colormap中显示的结果。深蓝色区域显示未知区域。当然,硬币的颜色不同。剩下,肯定为背景的区域显示在较浅的蓝色，跟未知区域相比。
现在我们的标记已准备就绪。现在是最后一步的时候了，使用分水岭算法。然后标记图像将被修改。边界区域将标记为-1。

markers = cv.watershed(img,markers) 
img[markers == -1] = [255,0,0]

查看结果：对某些硬币，它们接触的区域被正确地分割，而对于某些硬币，却不是。