OpenCV-Python——第18.4章：直方图反向投影

目录

0 原理       1 Numpy中的算法      2 OpenCV 中的反向投影      3 举例

---

0 原理

直方图反向投影是由 Michael J. Swain 和 Dana H. Ballard 在他们的文章“Indexing via color histograms”中提出。

那它到底是什么呢？它可以用来做图像分割，或者在图像中找寻我们感兴趣的部分。简单来说，它会输出与输入图像（待搜索）同样大小的图像，其中的每一个像素值代表了输入图像上对应点属于目标对象的概率。用更简单的话来解释，输出图像中像素值越高（越白）的点就越可能代表我们要搜索的目标 （在输入图像所在的位置）。这是一个直观的解释。直方图投影经常与 camshift 算法等一起使用。

我们应该怎样来实现这个算法呢？首先我们要为一张包含我们要查找目标的图像创建直方图（在我们的示例中，我们要查找的是草地，其他的都不要）。 我们要查找的对象要尽量占满这张图像（换句话说，这张图像上最好是有且仅 有我们要查找的对象）。最好使用颜色直方图，因为一个物体的颜色要比它的灰 度能更好的被用来进行图像分割与对象识别。接着我们再把这个颜色直方图投 影到输入图像中寻找我们的目标，也就是找到输入图像中的每一个像素点的像 素值在直方图中对应的概率，这样我们就得到一个概率图像，最后设置适当的阈值对概率图像进行二值化，就这么简单。

1 Numpy中的算法

此处的算法与上边介绍的算法稍有不同。 首先，我们要创建两幅颜色直方图，目标图像的直方图M（ROI）， 输入图像的直方图I（待搜索）。

import cv2
import numpy as np
from matplotlib import pyplot as plt

roi = cv2.imread('rose_red.png')
hsv = cv2.cvtColor(roi,cv2.COLOR_BGR2HSV)

target = cv2.imread('rose.png')
hsvt = cv2.cvtColor(target,cv2.COLOR_BGR2HSV)

M = cv2.calcHist([hsv],[0, 1], None, [180, 256], [0, 180, 0, 256] ) 
I = cv2.calcHist([hsvt],[0, 1], None, [180, 256], [0, 180, 0, 256] )

计算比值R=M/I 。反向投影 R，也就是根据 R 这个”调色板“创建一副新的图像，其中的每一个像素代表这个点就是目标的概率。例如 B (x, y) = R [h (x, y) , s (x, y)]，其中 h 为点（x，y）处的 hue 值，s 为点（x，y）处的 saturation 值。最后加入再一个条件 B (x, y) = min [B (x, y) , 1]。

h,s,v = cv2.split(hsvt)
B = R[h.ravel(),s.ravel()]
B = np.minimum(B,1)
B = B.reshape(hsvt.shape[:2])

现在使用一个圆盘算子做卷积，B = D ×B，其中 D 为卷积核。

disc = cv2.getStructuringElement(cv2.MORPH_ELLIPSE,(5,5))
B=cv2.filter2D(B,-1,disc)
B = np.uint8(B)
cv2.normalize(B,B,0,255,cv2.NORM_MINMAX)

其中cv2.getStructuringElement( )用于构造一个特定大小和形状的结构元素：

cv2.getStructuringElement(shape, ksize, anchor)

• shape：内核的形状，有三种形状可以选择。

                              MORPH_RECT  ：矩形

                              MORPH_CROSS  ：十字形

                              MORPH_ELLIPSE  ：椭圆形

• ksize：尺寸(a, b)
• anchor：锚点的位置，默认值Point（-1,-1），表示锚点位于中心点

现在输出图像中灰度值最大的地方就是我们要查找的目标的位置了。如果我们要找的是一个区域，我们就可以使用一个阈值对图像进行二值化，这样就 可以得到一个很好的结果了。

ret,thresh = cv2.threshold(B,50,255,0)

2 OpenCV 中的反向投影

OpenCV 提供的函数 cv2.calcBackProject() 可以用来做直方图反向投影。同样再使用目标的直方图做反向投影之前我们应该先对其做归一化处理。返回的结果是一个概率图像，我们再使用一个圆盘形卷积核对其做卷操作，最后使用阈值进行二值化。

cv2.calcBackProjection(images, channels, hist, ranges, scale, dst)

• images：输入图像，必须加[]
• channels：用于计算反向投影的通道列表，通道数必须与直方图维度相匹配
• hist：输入的直方图，直方图的bin可以是密集(dense)或稀疏(sparse) 
• ranges：直方图中每个维度bin的取值范围 
• scale：可选输出反向投影的比例因子 
• dst：目标图像

归一化函数：

cv2.normalize(src, dst, alpha, beta, norm_type, dtype, mask) 

• src：输入图像
• dst：输出图像
• alpha：设置下限
• beta：设置上限
• norm_type：选择归一化类型，共四种：NORM_L1，NORM_INF，NORM_L2，NORM_MINMAX:
• dtype：为负，输出在大小深度通道数都等于输入，为正，输出只在深度与输如不同，不同的地方由dtype决定
• mask：掩膜

3 举例

整合上面两种方法，对输出的结果做一下对比

程序如下：

import cv2
import numpy as np

img = cv2.imread('test1.jpg')
img = cv2.bilateralFilter(img, 13, 70, 50)  # 滤波降噪
box_roi = cv2.selectROI("roi", img)  # 选择roi区域
# 提取ROI图像
roi_img = img[box_roi[1]:box_roi[1]+box_roi[3],
             box_roi[0]:box_roi[0]+box_roi[2], :]
hsv1 = cv2.cvtColor(img, cv2.COLOR_BGR2HSV)
hsv2 = cv2.cvtColor(roi_img, cv2.COLOR_BGR2HSV)
hist1 = cv2.calcHist([hsv1], [0, 1], None, [180, 256], [0, 180, 0, 256])
hist2 = cv2.calcHist([hsv2], [0, 1], None, [180, 256], [0, 180, 0, 256])

# 使用Numpy中的算法
R = hist2/(hist1+1)  # 计算比值，加1 是为了避免除0
h, s, v = cv2.split(hsv1)
B = R[h.ravel(), s.ravel()]
B = np.minimum(B, 1)
B = B.reshape(hsv1.shape[:2])*255
# cv2.getStructuringElement用于构造一个特定形状的结构元素
# cv2.MORPH_ELLIPSE, (5, 5)表示构造一个5x5矩形内切椭圆用于卷积
disc = cv2.getStructuringElement(cv2.MORPH_ELLIPSE, (5, 5))
B = cv2.filter2D(B, -1, disc)
B = np.uint8(B)
cv2.normalize(B, B, 0, 255, cv2.NORM_MINMAX)
ret, thresh = cv2.threshold(B, 50, 255, 0)
# 通道合并为3通道图像
thresh = cv2.merge((thresh, thresh, thresh))
# 使用形态学闭运算去除噪点
kernel = np.ones((5, 5), np.uint8)
mask = cv2.morphologyEx(thresh, cv2.MORPH_CLOSE, kernel)
res = cv2.bitwise_and(img, mask)  # 与运算
cv2.imshow('Numpy', res)

# 利用 cv2.calcBackProject
# hist2是roi的直方图，将roi的直方图投影到原图的hsv空间得到mask
# 归一化之后的直方图便于显示，归一化之后就成了 0 到 255 之间的数了。
# 归一化并不必要
# cv2.normalize(hist2, hist2, 0, 255, cv2.NORM_MINMAX)
dst = cv2.calcBackProject([hsv1], [0, 1], hist2, [0, 180, 0, 256], 1)
disc = cv2.getStructuringElement(cv2.MORPH_ELLIPSE, (5, 5))
cv2.filter2D(dst, -1, disc, dst)
out = cv2.merge([dst, dst, dst]) & img
cv2.imshow('OpenCV', out)
cv2.waitKey(0)

结果如下：

蓝色矩形为取样区域

 使用Numpy算法的结果

 

使用OpenCV函数的结果