opencv视频分析之背景减除

1.原理

• 在很多基础应用中背景减除都是一个非常重要的步骤。例如顾客统计，使用一个静态摄像头来记录进入和离开房间的人数，或者是交通摄像头，需要提取交通工具的信息等。在所有的这些例子中，首先要将人或车单独提取出。技术上来说，我们需要从静止的背景中提取移动的前景。
• 如果你有一张背景（仅有背景不含前景）图像，只需要在新的图像中减去背景就可以得到前景对象了。但是在大多数情况下，我们没有这样的（背景）图像，所以需要直接从图像中提取背景。如果图像中还有影子，因为影子也在移动，使用减法会把影子也当成前景。为了实现这个目的科学家们已经提出了几种算法。OpenCV 中已经包含了其中三种比较容易使用的方法。

2.BackgroundSubtractorMOG

• 这是一个以混合高斯模型为基础的前景/背景分割算法。
• 它使用K（K=3 或5）个高斯分布混合对背景像素进行建模。使用这些颜色（在整个视频中）存在时间的长短作为混合的权重。背景的颜色一般持续的时间最长，而且更加静止。
• 一个像素没有分布，但是背景建模是基于时间序列的，因此每一个像素点所在的位置在整个时间序列中就会有很多值，从而构成一个分布。

代码速记：

• cv2.bgsegm.createBackgroundSubtractorMOG()
• fgbg.apply()

实战：

def mog(self):
    cap = cv2.VideoCapture("../images/vtest.avi")
    fgbg = cv2.bgsegm.createBackgroundSubtractorMOG()#创建一个背景对象
    # 此函数有可选参数：进行建模场景的时间长度、高斯混合成分的数量、阈值等
    # 将它们全部设置为默认值
    while True:
        ret, frame = cap.read()
        fgmask = fgbg.apply(frame)#得到前景mask
        cv2.imshow('frame', fgmask)
        k = cv2.waitKey(1)  # & 0xff
        if k == ord('q'):
            break
    cap.release()
    cv2.destroyAllWindows()

3.BackgroundSubtractorMOG2

• 这个也是以高斯混合模型为基础的背景/前景分割算法。
• 这个算法的一个特点是它为每一个像素选择一个合适数目的高斯分布。（上一个方法中我们使用是K 高斯分布）。这样就会对由于亮度等发生变化引起的场景变化产生更好的适应。
• 我们可以选择是否检测阴影。如果detectShadows = True（默认值），它就会检测并将影子标记出来，但是这样做会降低处理速度。影子会被标记为灰色。

代码速记：

• cv2.createBackgroundSubtractorMOG2()
• fgbg.apply()

实战：

def mog2(self):
    cap = cv2.VideoCapture("../images/vtest.avi")
    fgbg = cv2.createBackgroundSubtractorMOG2()
    while True:
        ret, frame = cap.read()
        fgmask = fgbg.apply(frame)
        cv2.imshow('frame', fgmask)
        k = cv2.waitKey(30)  # & 0xff
        if k == ord('q'):
            break
    cap.release()
    cv2.destroyAllWindows()

4.BackgroundSubtractorGMG

• 此算法结合了静态背景图像估计和每个像素的贝叶斯分割。
• 它使用前面很少的图像（默认为前120 帧）进行背景建模。使用了概率前景估计算法（使用贝叶斯估计鉴定前景）。这是一种自适应的估计，新观察到的对象比旧的对象具有更高的权重，从而对光照变化产生适应。
• 一些形态学操作如开运算闭运算等被用来除去不需要的噪音。在前几帧图像中你会得到一个黑色窗口。

代码速记：

• cv2.getStructuringElement()
• cv2.bgsegm.createBackgroundSubtractorGMG()
• fgbg.apply()
• cv2.morphologyEx()

实战：

def mor(self):
    cap = cv2.VideoCapture("../images/vtest.avi")
    kernel = cv2.getStructuringElement(cv2.MORPH_ELLIPSE, (3, 3))
    fgbg = cv2.bgsegm.createBackgroundSubtractorGMG()
    counter = 0
    while True:
        ret, frame = cap.read()
        fgmask = fgbg.apply(frame)#获取前景
        fgmask = cv2.morphologyEx(fgmask, cv2.MORPH_OPEN, kernel)#对前景执行开运算，去噪
        cv2.imshow('frame', fgmask)  # 前 120 帧
        counter += 1
        print(counter)
        k = cv2.waitKey(1)  # & 0xff
        if k == ord('q'):
            break
    cap.release()
    cv2.destroyAllWindows()