1 使用普通摄像头进行深度估计
1.1 深度估计原理
这里会用到几何学中的极几何（Epipolar Geometry），它属于立体视觉（stereo vision）几何学，立体视觉是计算机视觉的一个分支，它从同一物体的两张不同图像提取三维信息。
极几何的工作原理：
它跟踪从摄像头到图像上每个物体的虚线，然后再第二张图像做同样的操作，并根据同一物体对应的线的交叉来计算距离。
在使用 OpenCV 如何使用极几何来计算所谓的视差图，它是如图像中检测到不同深度的基本表示，这样就能够提取出一张图片的前景部分而抛弃其余部分。
注意：进行深度估计需要同一物体在不同视角下拍摄的两幅图像，但是要注意这两幅图像是距物体相同距离，否则计算将会失败，视差图也就没有意义。
下图为工作原理示意图
1.2 深度估计函数 StereoSGBM
下面例子是使用同一物体的两幅图像来计算视差图，距离摄像头近的点在视差图中会有更明亮的颜色，黑色区域代表两幅图像的差异部分。
import numpy as np import cv2 def update(val = 0): # disparity range is tuned for 'aloe' image pair stereo.setBlockSize(cv2.getTrackbarPos('window_size','disparity')) stereo.setUniquenessRatio(cv2.getTrackbarPos('uniquenessRatio','disparity')) stereo.setSpeckleWindowSize(cv2.getTrackbarPos('speckleWindowsize','disparity')) stereo.setSpeckleRange(cv2.getTrackbarPos('speckleRange','disparity')) stereo.setDisp12MaxDiff(cv2.getTrackbarPos('disp12MaxDiff','disparity')) print('computing disparity...') disp = stereo.compute(imgL, imgR).astype(np.float32) / 16.0 # cv2.imshow('left', imgL) cv2.imshow('disparity', (disp-min_disp) / num_disp) if __name__ == '__main__': window_size = 5 min_disp = 16 num_disp = 192 - min_disp blockSize = window_size uniquenessRatio = 1 speckleRange = 3 speckleWindowSize = 3 disp12MaxDiff = 200 P1 = 600 P2 = 2400 # 加载两幅图 imgL = cv2.imread('tsukuba_right.jpg') imgR = cv2.imread('tsukuba_left.jpg') cv2.namedWindow('disparity') cv2.createTrackbar('speckleRange','disparity',speckleRange,50,update) cv2.createTrackbar('window_size','disparity',window_size,21,update) cv2.createTrackbar('speckleWindowSize','disparity',speckleWindowSize,200,update) cv2.createTrackbar('uniquenessRatio','disparity',uniquenessRatio,50,update) cv2.createTrackbar('disp12MaxDiff','disparity',disp12MaxDiff,250,update) # 创建一个StereoSGBM实例，是一种计算视图差的算法 # 并创建几个跟踪条来调整算法参数，然后调用update函数 # update函数将跟踪条的值传给StereoSGBM实例 # StereoSGBM是semiglobal block matching 的缩写 stereo = cv2.StereoSGBM_create( minDisparity = min_disp, numDisparities = num_disp, blockSize = window_size, uniquenessRatio = uniquenessRatio, speckleRange = speckleRange, speckleWindowSize = speckleWindowSize, disp12MaxDiff = disp12MaxDiff, P1 = P1, P2 = P2 ) update() cv2.waitKey()
1 GrabCut算法
1.1 GrabCut算法简介
GrabCut是一种基于图切割的图像分割方法。GrabCut算法是基于Graph Cut算法的改进。
基于要被分割对象的指定边界框开始，使用高斯混合模型估计被分割对象和背景的颜色分布（注意，这里将图像分为被分割对象和背景两部分）。简而言之，就是只需确认前景和背景输入，该算法就可以完成前景和背景的最优分割。
该算法利用图像中纹理（颜色）信息和边界（反差）信息，只要少量的用户交互操作就可得到较好的分割效果，和分水岭算法比较相似，但计算速度比较慢，得到的结果比较精确。若从静态图像中提取前景物体（例如从一个图像剪切到另外一个图像），采用GrabCut算法是最好的选择。
1.2 GrabCut函数参数及返回值
cv2.grabCut(img, mask, rect, bgdModel, fgdModel, iterCount[, mode]) -> mask, bgdModel, fgdModel
参数：
img - 8 位 3 通道图像。这也说明输入的为彩色图像
mode - 操作模式，可以是 GrabCutModes 模式中的一种。枚举值enmu
- GC_INIT_WITH_RECT（=0），用矩形窗口初始化GRabCut；
- GC_INIT_WITH_MASK（=1），用掩码图像初始化GrabCut；
- GC_EVAL（=2），执行分割
引用原语句
enum cv::GrabCutModes { cv::GC_INIT_WITH_RECT = 0, cv::GC_INIT_WITH_MASK = 1, cv::GC_EVAL = 2 }详细内容
Enumerator GC_INIT_WITH_RECT The function initializes the state and the mask using the provided rectangle. After that it runs iterCount iterations of the algorithm.
该函数使用提供的矩形初始化状态和掩码。之后，它运行算法的iterCount迭代
GC_INIT_WITH_MASK The function initializes the state using the provided mask. Note that GC_INIT_WITH_RECT and GC_INIT_WITH_MASK can be combined. Then, all the pixels outside of the ROI are automatically initialized with GC_BGD .
该函数使用提供的掩码初始化状态。请注意，可以组合GC_INIT_WITH_RECT和GC_INIT_WITH_MASK。然后，使用GC_BGD自动初始化ROI外部的所有像素。
GC_EVAL The value means that the algorithm should just resume.
该值意味着算法应该恢复
参考：
https://docs.opencv.org/3.1.0/d7/d1b/group__imgproc__misc.html
https://docs.opencv.org/3.1.0/d7/d1b/group__imgproc__misc.html#gaf8b5832ba85e59fc7a98a2afd034e558
mask - 输入/输出 8 位单通道掩码， 当mode = GC_INIT_WITH_RECT时，该函数初始化掩码。若使用掩码进行初始化，那么 mask 保存初始化掩码信息，在执行分割的时候，也将用户交互所设定的前景与背景保存到mask中，然后再传入grabCut函数；在处理结束之后，mask中会保存结果。mask只能取以下四种值：
- GCD_BGD（=0），背景；
- GCD_FGD（=1），前景；
- GCD_PR_BGD（=2），可能的背景；
- GCD_PR_FGD（=3），可能的前景。
rect - 包含分割对象的矩形ROI（Region of Interesting，ROI，感兴趣区域），ROI外部的像素标记为背景，ROI内部的像素标记为前景。该参数仅在mode=GC_INIT_WITH_RECT情况下使用。（用于限定需要进行分割的图像范围，只有该矩形窗口内的图像部分才被处理）。注意，矩形的形式为（x, y, 宽, 高 ) 。
bgdModel - 背景模型的临时数组。 处理同一图像时，请勿修改它。
fgdModel - 前景模型的临时数组。 处理同一图像时，请勿修改它。
iterCount - 返回结果之前算法应该进行的迭代次数。 请注意，可以使用mode == GC_INIT_WITH_MASK或mode == GC_EVAL进一步调用结果。
1.3 GrabCut 算法的实现步骤
1.在图片中定义含有（一个或者多个）物体的矩形
2.矩形外的区域被自动认为是背景
3.对于用户定义的矩形区域，可用背景中的数据来区别它里面的前景和背景区域
4.用高斯混合模型来对背景和前景建模，并将未定义的像素标记为可能的前景或背景
5.图像中欧冠的每一个像素都被看作通过虚拟边与周围像素相连接，而每条边都有一个属于前景或背景的概率，这基于它与周围颜色上的相似性
6.每一个像素（即算法中的节点）会与一个前景或背景节点链接
7.在节点完成链接后，若节点之间的边属于不同终端，则会切断它们之间的边，这就能将图像各部分分割出来
1.4 代码示例
import numpy as np import cv2 from matplotlib import pyplot as plt #使用分水岭和GrabCut算法进行物体分割 img = cv2.imread('small.jpg') # img.shape=(1039, 690, 3) # img.shape[0:2]=(1039, 690) mask = np.zeros(img.shape[:2],np.uint8) # 背景色bgdModel，前景色fgdModel bgdModel = np.zeros((1,65),np.float64) fgdModel = np.zeros((1,65),np.float64) # 感兴趣区域ROI的x，y，宽度，高度 rect = (100,1,500,1000) # 获得返回值mask、bgdModel、fgdModel。 # 目标图像、掩码、感兴趣区域，背景、前景、算法迭代次数、操作模式 cv2.grabCut(img,mask,rect,bgdModel,fgdModel,5,cv2.GC_INIT_WITH_RECT) # 经过图像分割法grabCut处理之后， # print(set(mask.ravel())) -> {0,2,3} # mask的掩码元素{0}->{0,2,3} # where(condition,x,y)，condition为array_like或bool # 真yield x，假yield y # mask==0背景、==1前景、==2可能的背景、==3可能的前景 # 当为背景/可能是背景时赋0，当为前景/可能背景赋1 mask2 = np.where((mask==2)|(mask==0),0,1).astype('uint8') # mask2.shape=(1039,690), # img.shape=(1039,690,3) # 两者乘积则报错： # 操作数无法与形状一起广播 # ValueError: operands could not be broadcast together with shapes (1039,690,3) (1039,690) # 为了保持数形一致，增加np.newaxis # mask2[:,:,np.newaxis].shape=(1039,690,1) # 这样当行列值不相等时可进行广播计算 # 经过计算后，将背景色赋值为0，即为黑色 img = img*mask2[:,:,np.newaxis] # subplot(121)创建1行2列，当前位置为1 plt.subplot(121), plt.imshow(img) plt.title("grabcut"), plt.xticks([]), plt.yticks([]) # subplot(122)当前位置为2 plt.subplot(122), plt.imshow(cv2.cvtColor(cv2.imread('small.jpg'), cv2.COLOR_BGR2RGB)) plt.title("original"), plt.xticks([]), plt.yticks([]) plt.show()
运行
1.5 GrabCut算法参考文章：
Subplot 多合一显示
opencv python 基于GrabCut算法的交互式前景提取
基础学习笔记之opencv(16)：grabcut使用例程
OpenCV 深度估计与分割 - 深度估计与分割 该博客与opencv 3 有些同步，挺好的
2 分水岭算法 watershed algorithm 图像分割
分水岭算法 watershed algorithm方法是一种基于边界点的分割算法。
2.1 分水岭简介
任何灰度图都可以看成带有等高线的地形图，灰度值越高，其海拔越高。若向该地貌中注水，则海拔低处优先被淹没，同时水也会汇集，为了防止水的汇集，则筑坝对不同区域的水源进行分割，此时的坝就是区域的边界。
从上述较为形象化的分析可以看出：由于灰度值图像中的噪声和局部的不规则性，该方法可能会造成过度分割
针对上述的缺点进行优化 - 分水岭的标记控制 Marker-controlled watershed。该方法可以有效地防止过度分割。
详细内容参看
图像分割与数学形态学（IMAGE SEGMENTATION AND MATHEMATICAL MORPHOLOGY），该文章来源于 数学形态学中心 / MINES ParisTech的图像处理实验室
数字图像处理——图像分割（五）——分水岭算法（含系列总结）
基于边缘的图像分割——分水岭算法（watershed）算法分析（附opencv源码分析）
2.2 watershed函数参数及返回值
作用：基于标记的分水岭算法进行图像分割
cv2.watershed(image, markers) -> markers
参数：
image - 8 位 3通道图像
markers - 输入 / 输出标记的32位单通道图像（映射），它应该与图像大小相同。
注意：
图像 image 参数必须提前处理，使用正（\>0）索引粗略勾画图像标记中的所需区域。因此，每个区域被表示为具有像素值1，2，3等的一个或多个连通分量。 可以使用# findContours 和 # drawContours 从二进制掩码中检索此类标记（请参阅watershed.cpp演示）。标记是未来图像区域的“种子”。标记中的所有其他像素（其与轮廓区域的关系未知且应由算法定义）应设置为0。 在函数输出中，标记中的每个像素设置为“种子”组件的值，或者设置为区域之间的边界处的-1。
2.3 分水岭算法流程
从代码和最终结果里可以大致的看出算法的流程：
1.进行灰度化
2.高斯滤波以消除噪声的干扰
3.用canny算子检测边缘
4.用findcontours查找轮廓
5.利用轮廓特征，实现图像分割
2.4 分水岭算法代码示例
这段代码没有验证。直接复制。
import numpy as np import cv2 from matplotlib import pyplot as plt #使用分水岭算法进行图像分割 img = cv2.imread('timg.jpg') gray = cv2.cvtColor(img,cv2.COLOR_BGR2GRAY) #将颜色转为灰度后，可为图像设一个阈值，将图像分为两部分：黑色部分和白色部分 ret, thresh = cv2.threshold(gray,0,255,cv2.THRESH_BINARY_INV+cv2.THRESH_OTSU) # noise removal 噪声去除，morphologyEx是一种对图像进行膨胀之后再进行腐蚀的操作 kernel = np.ones((3,3),np.uint8) opening = cv2.morphologyEx(thresh,cv2.MORPH_OPEN,kernel, iterations = 2) # sure background area 确定背景区域，图像进行膨胀操作 sure_bg = cv2.dilate(opening,kernel,iterations=3) # Finding sure foreground area，通过distanceTransform来获取确定的前景区域 dist_transform = cv2.distanceTransform(opening,cv2.DIST_L2,5) ret, sure_fg = cv2.threshold(dist_transform,0.7*dist_transform.max(),255,0) # Finding unknown region sure_fg = np.uint8(sure_fg) unknown = cv2.subtract(sure_bg,sure_fg) # Marker labelling ret, markers = cv2.connectedComponents(sure_fg) # Add one to all labels so that sure background is not 0, but 1 markers = markers+1 # Now, mark the region of unknown with zero markers[unknown==255] = 0 markers = cv2.watershed(img,markers) img[markers == -1] = [255,0,0] plt.imshow(img) plt.show()
运行
该代码没有调试，没有深究代码中的逻辑关系，部分不理解的函数作用及参数、返回值没有深究。
附原图：
2.5 分水岭算法参考
基于边缘的图像分割——分水岭算法（watershed）算法分析（附opencv源码分析） 从源代码深层次理解分水岭算法
数字图像处理——图像分割（五）——分水岭算法 分水岭算法的理解及相关的数学分析
OpenCV—图像分割中的分水岭算法原理与应用 对其代码应用有较多地描写
OpenCV 深度估计与分割 - 深度估计与分割 重要参考博文
opencv(28)---GrabCut & FloodFill图像分割 虽然是转载的，感觉还可哟