图像/视频背景建模

最近一直在看图像前景提取相关的东西，来做个整理。
个人理解可以分为两个方向：

• 背景建模角度
• 前景特征角度

一是从如何构造出更合理的背景表达形式出发，不考虑一个像素点作为前景点该具备的特质；
二是从前景的角度出发，考虑的是前景点与背景点的差异，例如颜色不一样、纹理不一样、或者具备更‘锋利’的边缘特征。可以联系到图像显著性检测的相关想法，但是不完全一样。

大部分都是视频中的应用，视频中的背景建模可以分为动态背景和静态背景两种：

1.动态背景+运动物体
这种背景的建模比较复杂，一般从物体和背景的相对运动来入手来提取前景，这就是从前景物体的角度来考虑问题了。

2.静态背景+运动物体
这个建模比较简单，不管从哪个角度都可以很好地解决问题。

3.动态背景+静态物体
例如车载摄像头等应用场景。如果背景较简单且变化微弱，可以看做静态背景和动态物体来处理。如果背景很复杂得从前景物体的特征匹配来入手（猜想而已，并未深入研究）。

我们主要从背景建模入手。

建模方法

• 帧差法
• 背景统计模型:均值法、中值法等
• 混合高斯背景建模

主要是混合高斯模型。
认为视频中每个位置的像素点可以用多个高斯模型来模拟该点可能出现的像素值。（假设摄像头位置不变）也就是说特定像素点处出现的像素值是围绕几个中心波动的。

算法流程：

（markdown公式太难打了..截的别处图。）

看了几个实际的代码，一般会将视频的第一帧看作背景用于初始化高斯模型，也有的代码中random的选取均值来初始化模型。

高斯模型的个数K的选取也是一个问题。

模型的更新率alpha可以使用自适应的手段在不同帧处理阶段使用不同的值。因为建模初期希望模型能够快速建立，因此可以选取较大的更新率。
而模型建立好后，则更多的希望模型对噪声具有鲁棒性，可以适当选取较小的更新率。

参考：
混合高斯背景建模原理及实现