[Python从零到壹] 六十一.图像识别及经典案例篇之基于纹理背景和聚类算法的图像分割

祝大家新年快乐，阖家幸福，健康快乐！

欢迎大家来到“Python从零到壹”，在这里我将分享约200篇Python系列文章，带大家一起去学习和玩耍，看看Python这个有趣的世界。所有文章都将结合案例、代码和作者的经验讲解，真心想把自己近十年的编程经验分享给大家，希望对您有所帮助，文章中不足之处也请海涵。Python系列整体框架包括基础语法10篇、网络爬虫30篇、可视化分析10篇、机器学习20篇、大数据分析20篇、图像识别30篇、人工智能40篇、Python安全20篇、其他技巧10篇。您的关注、点赞和转发就是对秀璋最大的支持，知识无价人有情，希望我们都能在人生路上开心快乐、共同成长。

该系列文章主要讲解Python OpenCV图像处理和图像识别知识，前期主要讲解图像处理基础知识、OpenCV基础用法、常用图像绘制方法、图像几何变换等，中期讲解图像处理的各种运算，包括图像点运算、形态学处理、图像锐化、图像增强、图像平滑等，后期研究图像识别、图像分割、图像分类、图像特效处理以及图像处理相关应用。

第一部分作者介绍了图像处理基础知识，第二部分介绍了图像运算和图像增强，接下来第三部分我们将详细讲解图像识别及图像处理经典案例，该部分属于高阶图像处理知识，能进一步加深我们的理解和实践能力。图像分割是将图像分成若干具有独特性质的区域并提取感兴趣目标的技术和过程，它是图像处理和图像分析的关键步骤。主要分为基于阈值的分割方法、基于区域的分割方法、基于边缘的分割方法和基于特定理论的分割方法。上一篇文章引入了图像分割知识，这篇文章将详细讲解基于纹理背景的图像分割和基于聚类算法的图像分割。希望文章对您有所帮助，如果有不足之处，还请海涵。

下载地址：记得点赞喔 O(∩_∩)O

• https://github.com/eastmountyxz/Python-zero2one
• 开源600多页电子书：https://github.com/eastmountyxz/HWCloudImageRecognition

前文赏析：（尽管该部分占大量篇幅，但我舍不得删除，哈哈！）

第一部分 基础语法

• [Python从零到壹] 一.为什么我们要学Python及基础语法详解
• [Python从零到壹] 二.语法基础之条件语句、循环语句和函数
• [Python从零到壹] 三.语法基础之文件操作、CSV文件读写及面向对象

第二部分 网络爬虫

• [Python从零到壹] 四.网络爬虫之入门基础及正则表达式抓取博客案例
• [Python从零到壹] 五.网络爬虫之BeautifulSoup基础语法万字详解
• [Python从零到壹] 六.网络爬虫之BeautifulSoup爬取豆瓣TOP250电影详解
• [Python从零到壹] 七.网络爬虫之Requests爬取豆瓣电影TOP250及CSV存储
• [Python从零到壹] 八.数据库之MySQL基础知识及操作万字详解
• [Python从零到壹] 九.网络爬虫之Selenium基础技术万字详解（定位元素、常用方法、键盘鼠标操作）
• [Python从零到壹] 十.网络爬虫之Selenium爬取在线百科知识万字详解（NLP语料构造必备技能）

第三部分 数据分析和机器学习

• [Python从零到壹] 十一.数据分析之Numpy、Pandas、Matplotlib和Sklearn入门知识万字详解(1)
• [Python从零到壹] 十二.机器学习之回归分析万字总结全网首发（线性回归、多项式回归、逻辑回归）
• [Python从零到壹] 十三.机器学习之聚类分析万字总结全网首发（K-Means、BIRCH、层次聚类、树状聚类）
• [Python从零到壹] 十四.机器学习之分类算法三万字总结全网首发（决策树、KNN、SVM、分类算法对比）
• [Python从零到壹] 十五.文本挖掘之数据预处理、Jieba工具和文本聚类万字详解
• [Python从零到壹] 十六.文本挖掘之词云热点与LDA主题分布分析万字详解
• [Python从零到壹] 十七.可视化分析之Matplotlib、Pandas、Echarts入门万字详解
• [Python从零到壹] 十八.可视化分析之Basemap地图包入门详解
• [Python从零到壹] 十九.可视化分析之热力图和箱图绘制及应用详解
• [Python从零到壹] 二十.可视化分析之Seaborn绘图万字详解
• [Python从零到壹] 二十一.可视化分析之Pyechart绘图万字详解
• [Python从零到壹] 二十二.可视化分析之OpenGL绘图万字详解
• [Python从零到壹] 二十三.十大机器学习算法之决策树分类分析详解(1)
• [Python从零到壹] 二十四.十大机器学习算法之KMeans聚类分析详解(2)
• [Python从零到壹] 二十五.十大机器学习算法之KNN算法及图像分类详解(3)
• [Python从零到壹] 二十六.十大机器学习算法之朴素贝叶斯算法及文本分类详解(4)
• [Python从零到壹] 二十七.十大机器学习算法之线性回归算法分析详解(5)
• [Python从零到壹] 二十八.十大机器学习算法之SVM算法分析详解(6)
• [Python从零到壹] 二十九.十大机器学习算法之随机森林算法分析详解(7)
• [Python从零到壹] 三十.十大机器学习算法之逻辑回归算法及恶意请求检测应用详解(8)
• [Python从零到壹] 三十一.十大机器学习算法之Boosting和AdaBoost应用详解(9)
• [Python从零到壹] 三十二.十大机器学习算法之层次聚类和树状图聚类应用详解(10)

第四部分 Python图像处理基础

• [Python从零到壹] 三十三.图像处理基础篇之什么是图像处理和OpenCV配置
• [Python从零到壹] 三十四.OpenCV入门详解——显示读取修改及保存图像
• [Python从零到壹] 三十五.图像处理基础篇之OpenCV绘制各类几何图形
• [Python从零到壹] 三十六.图像处理基础篇之图像算术与逻辑运算详解
• [Python从零到壹] 三十七.图像处理基础篇之图像融合处理和ROI区域绘制
• [Python从零到壹] 三十八.图像处理基础篇之图像几何变换（平移缩放旋转）
• [Python从零到壹] 三十九.图像处理基础篇之图像几何变换（镜像仿射透视）
• [Python从零到壹] 四十.图像处理基础篇之图像量化处理
• [Python从零到壹] 四十一.图像处理基础篇之图像采样处理
• [Python从零到壹] 四十二.图像处理基础篇之图像金字塔向上取样和向下取样

第五部分 Python图像运算和图像增强

• [Python从零到壹] 四十三.图像增强及运算篇之图像点运算和图像灰度化处理
• [Python从零到壹] 四十四.图像增强及运算篇之图像灰度线性变换详解
• [Python从零到壹] 四十五.图像增强及运算篇之图像灰度非线性变换详解
• [Python从零到壹] 四十六.图像增强及运算篇之图像阈值化处理
• [Python从零到壹] 四十七.图像增强及运算篇之腐蚀和膨胀详解
• [Python从零到壹] 四十八.图像增强及运算篇之形态学开运算、闭运算和梯度运算
• [Python从零到壹] 四十九.图像增强及运算篇之顶帽运算和底帽运算
• [Python从零到壹] 五十.图像增强及运算篇之图像直方图理论知识和绘制实现
• [Python从零到壹] 五十一.图像增强及运算篇之图像灰度直方图对比分析万字详解
• [Python从零到壹] 五十二.图像增强及运算篇之图像掩膜直方图和HS直方图
• [Python从零到壹] 五十三.图像增强及运算篇之直方图均衡化处理
• [Python从零到壹] 五十四.图像增强及运算篇之局部直方图均衡化和自动色彩均衡化处理
• [Python从零到壹] 五十五.图像增强及运算篇之图像平滑（均值滤波、方框滤波、高斯滤波）
• [Python从零到壹] 五十六.图像增强及运算篇之图像平滑（中值滤波、双边滤波）
• [Python从零到壹] 五十七.图像增强及运算篇之图像锐化Roberts、Prewitt算子实现边缘检测
• [Python从零到壹] 五十八.图像增强及运算篇之图像锐化Sobel、Laplacian算子实现边缘检测
• [Python从零到壹] 五十九.图像增强及运算篇之图像锐化Scharr、Canny、LOG实现边缘检测

第六部分 Python图像识别和图像高阶案例

• [Python从零到壹] 六十.图像识别及经典案例篇之基于阈值及边缘检测的图像分割
• [Python从零到壹] 六十一.图像识别及经典案例篇之基于纹理背景和聚类算法的图像分割

第七部分 NLP与文本挖掘

第八部分 人工智能入门知识

第九部分 网络攻防与AI安全

第十部分 知识图谱构建实战

扩展部分 人工智能高级案例

作者新开的“娜璋AI安全之家”将专注于Python和安全技术，主要分享Web渗透、系统安全、人工智能、大数据分析、图像识别、恶意代码检测、CVE复现、威胁情报分析等文章。虽然作者是一名技术小白，但会保证每一篇文章都会很用心地撰写，希望这些基础性文章对你有所帮助，在Python和安全路上与大家一起进步。

---

一.基于纹理背景的图像分割

该部分主要讲解基于图像纹理信息（颜色）、边界信息（反差）和背景信息的图像分割算法。在OpenCV中，GrabCut算法能够有效地利用纹理信息和边界信息分割背景，提取图像目标物体。该算法是微软研究院基于图像分割和抠图的课题，它能有效地将目标图像分割提取，如图1所示[1]。

GrabCut算法原型如下所示：

• mask, bgdModel, fgdModel = grabCut(img, mask, rect, bgdModel, fgdModel, iterCount[, mode])
  – image表示输入图像，为8位三通道图像
  – mask表示蒙板图像，输入/输出的8位单通道掩码，确定前景区域、背景区域、不确定区域。当模式设置为GC_INIT_WITH_RECT时，该掩码由函数初始化
  – rect表示前景对象的矩形坐标，其基本格式为(x, y, w, h)，分别为左上角坐标和宽度、高度
  – bdgModel表示后台模型使用的数组，通常设置为大小为（1, 65）np.float64的数组
  – fgdModel表示前台模型使用的数组，通常设置为大小为（1, 65）np.float64的数组
  – iterCount表示算法运行的迭代次数
  – mode是cv::GrabCutModes操作模式之一，cv2.GC_INIT_WITH_RECT 或 cv2.GC_INIT_WITH_MASK表示使用矩阵模式或蒙板模式

下面是Python的实现代码，通过调用np.zeros()函数创建掩码、fgbModel和bgModel，接着定义rect矩形范围，调用函数grabCut()实现图像分割。由于该方法会修改掩码，像素会被标记为不同的标志来指明它们是背景或前景。接着将所有的0像素和2像素点赋值为0（背景），而所有的1像素和3像素点赋值为1（前景），完整代码如下所示。

# -*- coding: utf-8 -*-
# By: Eastmount 
import cv2  
import numpy as np  
import matplotlib.pyplot as plt
import matplotlib

#读取图像
img = cv2.imread('nv.png')

#灰度化处理图像
grayImage = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY)

#设置掩码、fgbModel、bgModel
mask = np.zeros(img.shape[:2], np.uint8)
bgdModel = np.zeros((1,65), np.float64)
fgdModel = np.zeros((1,65), np.float64)

#矩形坐标
rect = (100, 100, 500, 800)

#图像分割
cv2.grabCut(img, mask, rect, bgdModel, fgdModel, 5,
            cv2.GC_INIT_WITH_RECT)

#设置新掩码：0和2做背景
mask2 = np.where((mask==2)|(mask==0), 0, 1).astype('uint8')

#设置字体
matplotlib.rcParams['font.sans-serif']=['SimHei']

#显示原图
img = cv2.cvtColor(img, cv2.COLOR_BGR2RGB)
plt.subplot(1,2,1)
plt.imshow(img)
plt.title('(a)原始图像')

plt.xticks([]), plt.yticks([])

#使用蒙板来获取前景区域
img = img*mask2[:, :, np.newaxis]
plt.subplot(1,2,2)
plt.imshow(img)
plt.title('(b)目标图像')

plt.colorbar()
plt.xticks([]), plt.yticks([])
plt.show()

输出图像如图2所示，图2(a)为原始图像，图2(b)为图像分割后提取的目标人物，但人物右部分的背景仍然存在。如何移除这些背景呢？这里需要使用自定义的掩码进行提取，读取一张灰色背景轮廓图，从而分离背景与前景，希望读者下来实现该功能。

---

二.基于K-Means聚类算法的区域分割

K-Means聚类是最常用的聚类算法，最初起源于信号处理，其目标是将数据点划分为K个类簇，找到每个簇的中心并使其度量最小化。该算法的最大优点是简单、便于理解，运算速度较快，缺点是只能应用于连续型数据，并且要在聚类前指定聚集的类簇数[2]。

下面是K-Means聚类算法的分析流程，步骤如下：

• 第一步，确定K值，即将数据集聚集成K个类簇或小组；
• 第二步，从数据集中随机选择K个数据点作为质心（Centroid）或数据中心；
• 第三步，分别计算每个点到每个质心之间的距离，并将每个点划分到离最近质心的小组，跟定了那个质心；
• 第四步，当每个质心都聚集了一些点后，重新定义算法选出新的质心；
• 第五步，比较新的质心和老的质心，如果新质心和老质心之间的距离小于某一个阈值，则表示重新计算的质心位置变化不大，收敛稳定，则认为聚类已经达到了期望的结果，算法终止；
• 第六步，如果新的质心和老的质心变化很大，即距离大于阈值，则继续迭代执行第三步到第五步，直到算法终止。

图29-3是对身高和体重进行聚类的算法，将数据集的人群聚集成三类。

在图像处理中，通过K-Means聚类算法可以实现图像分割、图像聚类、图像识别等操作，本小节主要用来进行图像颜色分割。假设存在一张100×100像素的灰度图像，它由10000个RGB灰度级组成，我们通过K-Means可以将这些像素点聚类成K个簇，然后使用每个簇内的质心点来替换簇内所有的像素点，这样就能实现在不改变分辨率的情况下量化压缩图像颜色，实现图像颜色层级分割。

在OpenCV中，Kmeans()函数原型如下所示：

• retval, bestLabels, centers = kmeans(data, K, bestLabels, criteria, attempts, flags[, centers])
  – data表示聚类数据，最好是np.flloat32类型的N维点集
  – K表示聚类类簇数
  – bestLabels表示输出的整数数组，用于存储每个样本的聚类标签索引
  – criteria表示算法终止条件，即最大迭代次数或所需精度。在某些迭代中，一旦每个簇中心的移动小于criteria.epsilon，算法就会停止
  – attempts表示重复试验kmeans算法的次数，算法返回产生最佳紧凑性的标签
  – flags表示初始中心的选择，两种方法是cv2.KMEANS_PP_CENTERS ;和cv2.KMEANS_RANDOM_CENTERS
  – centers表示集群中心的输出矩阵，每个集群中心为一行数据

下面使用该方法对灰度图像颜色进行分割处理，需要注意，在进行K-Means聚类操作之前，需要将RGB像素点转换为一维的数组，再将各形式的颜色聚集在一起，形成最终的颜色分割。

# -*- coding: utf-8 -*-
# By: Eastmount
import cv2
import numpy as np
import matplotlib.pyplot as plt

#读取原始图像灰度颜色
img = cv2.imread('scenery.png', 0) 

#获取图像高度、宽度
rows, cols = img.shape[:]

#图像二维像素转换为一维
data = img.reshape((rows * cols, 1))
data = np.float32(data)

#定义中心 (type,max_iter,epsilon)
criteria = (cv2.TERM_CRITERIA_EPS +
            cv2.TERM_CRITERIA_MAX_ITER, 10, 1.0)

#设置标签
flags = cv2.KMEANS_RANDOM_CENTERS

#K-Means聚类 聚集成4类
compactness, labels, centers = cv2.kmeans(data, 4, None, criteria, 10, flags)

#生成最终图像
dst = labels.reshape((img.shape[0], img.shape[1]))

#用来正常显示中文标签
plt.rcParams['font.sans-serif']=['SimHei']

#显示图像
titles = ['原始图像', '聚类图像']  
images = [img, dst]  
for i in range(2):  
   plt.subplot(1,2,i+1), plt.imshow(images[i], 'gray'), 
   plt.title(titles[i])  
   plt.xticks([]),plt.yticks([])  
plt.show()

输出结果如图4所示，左边为灰度图像，右边为K-Means聚类后的图像，它将灰度级聚集成四个层级，相似的颜色或区域聚集在一起。

下面代码是对彩色图像进行颜色分割处理，它将彩色图像聚集成2类、4类和64类。

# -*- coding: utf-8 -*-
# By: Eastmount
import cv2
import numpy as np
import matplotlib.pyplot as plt

#读取原始图像
img = cv2.imread('scenery.png') 

#图像二维像素转换为一维
data = img.reshape((-1,3))
data = np.float32(data)

#定义中心 (type,max_iter,epsilon)
criteria = (cv2.TERM_CRITERIA_EPS +
            cv2.TERM_CRITERIA_MAX_ITER, 10, 1.0)

#设置标签
flags = cv2.KMEANS_RANDOM_CENTERS

#K-Means聚类 聚集成2类
compactness, labels2, centers2 = cv2.kmeans(data, 2, None, criteria, 10, flags)

#K-Means聚类 聚集成4类
compactness, labels4, centers4 = cv2.kmeans(data, 4, None, criteria, 10, flags)

#K-Means聚类 聚集成8类
compactness, labels8, centers8 = cv2.kmeans(data, 8, None, criteria, 10, flags)

#K-Means聚类 聚集成16类
compactness, labels16, centers16 = cv2.kmeans(data, 16, None, criteria, 10, flags)

#K-Means聚类 聚集成64类
compactness, labels64, centers64 = cv2.kmeans(data, 64, None, criteria, 10, flags)

#图像转换回uint8二维类型
centers2 = np.uint8(centers2)
res = centers2[labels2.flatten()]
dst2 = res.reshape((img.shape))

centers4 = np.uint8(centers4)
res = centers4[labels4.flatten()]
dst4 = res.reshape((img.shape))

centers8 = np.uint8(centers8)
res = centers8[labels8.flatten()]
dst8 = res.reshape((img.shape))

centers16 = np.uint8(centers16)
res = centers16[labels16.flatten()]
dst16 = res.reshape((img.shape))

centers64 = np.uint8(centers64)
res = centers64[labels64.flatten()]
dst64 = res.reshape((img.shape))

#图像转换为RGB显示
img = cv2.cvtColor(img, cv2.COLOR_BGR2RGB)
dst2 = cv2.cvtColor(dst2, cv2.COLOR_BGR2RGB)
dst4 = cv2.cvtColor(dst4, cv2.COLOR_BGR2RGB)
dst8 = cv2.cvtColor(dst8, cv2.COLOR_BGR2RGB)
dst16 = cv2.cvtColor(dst16, cv2.COLOR_BGR2RGB)
dst64 = cv2.cvtColor(dst64, cv2.COLOR_BGR2RGB)

#用来正常显示中文标签
plt.rcParams['font.sans-serif']=['SimHei']

#显示图像
titles = ['原始图像', '聚类图像 K=2', '聚类图像 K=4',
          '聚类图像 K=8', '聚类图像 K=16', '聚类图像 K=64']  
images = [img, dst2, dst4, dst8, dst16, dst64]  
for i in range(6):  
   plt.subplot(2,3,i+1), plt.imshow(images[i], 'gray'), 
   plt.title(titles[i])  
   plt.xticks([]),plt.yticks([])  
plt.show()

输出结果如图5所示，它对比了原始图像和各K-Means聚类处理后的图像。当K=2时，聚集成2种颜色；当K=4时，聚集成4种颜色；当K=8时，聚集成8种颜色；当K=16时，聚集成16种颜色；当K=64时，聚集成64种颜色。

同样，如果是人物图像显示如图6所示，比如小珞珞。

---

三.总结

本文主要讲解了常用的图像分割方法，包括基于纹理背景和聚类算法的图像分割方法。希望读者能结合本文知识点，围绕自己的研究领域或工程项目进行深入的学习，实现所需的图像处理。

感谢在求学路上的同行者，不负遇见，勿忘初心。图像处理系列主要包括三部分，分别是：

2022年即将离去，感谢大家的鼓励和陪伴。还是写一篇年终总结吧，也是自己写下的第10篇年终总结。曾记否，2013年感叹《一万年太久，只争朝夕》；2014年本科毕业写下《忆大学四年得与失》；2015年选择回贵州工作，《再见北理工》依依不舍；2016年成为一名菜鸟教师，《教书路开启，爱情路初尝》；2017年又借调到省发改委学习忙碌一年，留下《人生百味，有你真好》；2018年数不清加班，尝不尽的酸甜，《向死而生，为爱而活，忆编程戎马岁月》；2019年奔波考博重返校园，两人通过书信寄托着情感，《把能努力的都努力好，最终等待命运垂青》；2020年小珞珞降生，《敏儿多思，宁静致远》，希望他永远记住妈妈的辛苦；2021年，已为人父不再年轻，写下《缘起性空，归来不少年》。那今年，我又写什么呢？

就​简单写几句和回顾下吧，叫《为梦想擦去蒙尘，愿大家平安健康快乐》。这一年仿佛什么都没做，又好像做了些啥，忙忙碌碌，浑浑噩噩的过了。好在，脚踏实地；好在，亲人支持。是啊，平平淡淡的生活，才是最真最美的生活，家人和亲情才是最重要的。看着小珞珞纯真的笑容，真好！新的一年里，希望所有朋友和博友都健健康康，平平安安，开开心心。祝好！

(By:Eastmount 2023-01-01 夜于贵阳 http://blog.csdn.net/eastmount/ )

---

参考文献：

• [1]冈萨雷斯著. 数字图像处理（第3版）[M]. 北京：电子工业出版社，2013.
• [2]阮秋琦. 数字图像处理学（第3版）[M]. 北京：电子工业出版社，2008.
• [3]毛星云，冷雪飞. OpenCV3编程入门[M]. 北京：电子工业出版社，2015.
• [4]张铮，王艳平，薛桂香等. 数字图像处理与机器视觉——Visual C++与Matlab实现[M]. 北京：人民邮电出版社，2014.
• [5]Jumping boy. python+OpenCV图像处理（十一）图像轮廓检测[EB/OL]. (2018-08-30). https://blog.csdn.net/qq_40962368/article/details/82078732.
• [6]Eastmount. [Python图像处理] 四十.全网首发Python图像分割万字详解（阈值分割、边缘分割、纹理分割、分水岭算法、K-Means分割、漫水填充分割、区域定位）[EB/OL]. (2021-05-18). https://blog.csdn.net/Eastmount/article/details/116952580.
• [7]杨秀璋, 颜娜. Python网络数据爬取及分析从入门到精通（分析篇）[M]. 北京：北京航天航空大学出版社, 2018.
• [8]Fukunaga K. and Hostetler L.D. The Estimation of the Gradient of a Density Function, with Applications in Pattern Recognition[J]. IEEE Transactions on Information Theory, 1975, 21, 32-10.