python数字图像处理基础(十)——背景建模

目录

    • 背景建模
      • 背景消除-帧差法
      • 混合高斯模型

背景建模

背景建模是计算机视觉和图像处理中的一项关键技术,用于提取视频中的前景对象。在视频监控、运动检测和行为分析等领域中,背景建模被广泛应用。其基本思想是通过对视频序列中的像素进行建模,找到视频中的静态背景,并将不同的像素标记为背景和前景,从而使后续的对象检测和跟踪更为可靠。

前景-感兴趣的、运动的;背景-不变

背景消除-帧差法

由于场景中的目标在运动,目标的影像在不同图像帧中的位置不同。该类算法对时间上连续的两帧图像进行差分运算,不同帧对应的像素点相减,判断灰度差的绝对值,当绝对值超过一定阈值时,即可判断为运动目标,从而实现目标的检测功能。

python数字图像处理基础(十)——背景建模_第1张图片
帧差法简单,但会引入噪音,还有空洞问题(前景只有白色轮廓,内部还是黑的)

混合高斯模型

混合高斯模型(Gaussian Mixture Model,简称GMM)是背景建模的一种常用方法。GMM模型假设一个像素的灰度值是由多个高斯分布混合而成的,这些高斯分布代表了不同的场景。对于每个像素,模型会使用多个高斯分布来表示其灰度值的分布,其中每个高斯分布具有特定的均值和方差。

在进行前景检测前,先对背景进行训练,对图像中每个背景采用一个混合高斯模型进行模拟,每个背景的混合高斯的个数可以自适应。然后再测试阶段,对新来的像素进行GMM匹配,如果该像素值能够匹配其中一个高斯,则认为时背景。由于整个过程GMM模型在不断更新学习中,所以对动态背景有一定的鲁棒性。最后通过对一个有树枝摇摆的动态背景进行前景检测,取得了较好的效果。

ps:鲁棒性:在计算机科学中,健壮性(英语:Robustness)是指一个计算机系统在执行过程中处理错误,以及算法在遭遇输入、运算等异常时继续正常运行的能力。 诸如模糊测试之类的形式化方法中,必须通过制造错误的或不可预期的输入来验证程序的健壮性。很多商业产品都可用来测试软件系统的健壮性。健壮性也是失效评定分析中的一个方面。

GMM背景建模的基本步骤如下:

  1. 初始化: 对于每个像素,初始化一个包含多个高斯分布的GMM模型。
  2. 更新: 在每一帧中,对于每个像素,根据当前帧的像素值,更新GMM的参数(均值、方差、权重等)。
  3. 分类: 对于每个像素,根据当前帧的像素值和GMM模型,判断该像素是属于背景还是前景。
  4. 学习: 对于被判断为背景的像素,根据学习率(learning rate)更新GMM的参数,以适应场景的变化。
  5. 提取前景: 将被分类为前景的像素提取出来,用于后续的对象检测和跟踪。

混合高斯模型的主要优势在于能够适应场景的变化,对光照变化和动态背景具有一定的鲁棒性。然而,在处理复杂场景和大规模运动时,可能需要更复杂的背景建模技术。

  • 在视频中对于像素点的变化情况应当是符合高斯分布
    python数字图像处理基础(十)——背景建模_第2张图片

  • 背景的实际分布应当时多个高斯分布混合在一起,每个高斯模型也可以带有权重
    python数字图像处理基础(十)——背景建模_第3张图片

混合高斯模型学习方法

1.首先初始化每个高斯模型矩阵参数。
2.取视频中T帧数据图像用来训练高斯混合模型。来了第一个像素之后用它来当做第一个高斯分布。
3.当后面来的像素值时,与前面已有的高斯的均值比较,如果该像素点的值与其模型均值差在3倍的方差内,则属于该分布,并对其进行参数更新。
4.如果下一次来的像素不满足当前高斯分布,用它来创建一个新的高斯分布。一般为3-5个

混合高斯模型测试方法

在测试阶段,对新来像素点的值与混合高斯模型中的每一个均值进行比较,如果其差值在2倍的方差之间的话,则认为是背景,否则认为是前景。将前景赋值为255,背景赋值为0。这样就形成了一副前景二值图。

下面是一个使用OpenCV中的背景建模函数cv2.bgsegm.createBackgroundSubtractorMOG()创建混合高斯模型的简单示例:

import cv2
import numpy as np

# 读取视频
cap = cv2.VideoCapture('your_video.mp4')

# 创建混合高斯模型
bg_subtractor = cv2.bgsegm.createBackgroundSubtractorMOG()

while True:
    ret, frame = cap.read()
    if not ret:
        break

    # 应用背景建模器
    fg_mask = bg_subtractor.apply(frame)

    # 可选:对二值图像进行一些后处理,如膨胀和腐蚀
    kernel = np.ones((5, 5), np.uint8)
    fg_mask = cv2.morphologyEx(fg_mask, cv2.MORPH_CLOSE, kernel)

    # 显示原始帧和背景建模结果
    cv2.imshow('Original Frame', frame)
    cv2.imshow('Foreground Mask', fg_mask)

    if cv2.waitKey(30) & 0xFF == 27:  # 按ESC键退出
        break

cap.release()
cv2.destroyAllWindows()

在这个示例中,cv2.bgsegm.createBackgroundSubtractorMOG()函数创建了一个默认配置的混合高斯模型。可以通过调整参数来适应不同的场景。

此外,OpenCV中还提供了其他一些背景建模函数,如cv2.createBackgroundSubtractorKNN()等,它们也可以用于不同的场景和需求。


你可能感兴趣的:(数字图像处理,python,计算机视觉,开发语言)