贝叶斯滤波

贝叶斯滤波

  • 1.概率基础
  • 2.贝叶斯滤波

1.概率基础

概率论中,假设随机变量为 X X X
X X X离散时,即 X X X存在有限个取值 { x 1 , x 2 , … , x n } \{x_1,x_2,\ldots,x_n\} {x1,x2,,xn},概率可表示为:
P ( X = x i ) = p P(X=x_i)=p P(X=xi)=p表示 X X X的值为 x i x_i xi的概率,
p ( x ) = { P ( X = x ) , x ∈ { x 1 , x 2 , … , x n } 0 , x ∉ { x 1 , x 2 , … , x n } p(x) = \begin{cases} P(X=x), & x\in\{x_1,x_2,\ldots,x_n\} \\[2ex] 0, & x\notin\{x_1,x_2,\ldots,x_n\} \\ \end{cases} p(x)=P(X=x),0,x{x1,x2,,xn}x/{x1,x2,,xn} p ( x ) p(x) p(x)称为概率质量函数(probability mass function)

X X X连续时,概率可表示为:
P ( a < X < b ) = ∫ a b p ( x ) d x P(aP(a<X<b)=abp(x)dx表示 X X X的取值在 ( a , b ) (a,b) (a,b)区间内的概率,
p ( x ) p(x) p(x)称为概率密度函数(probability density function)

联合概率
多个随机变量分别满足各自条件的概率,
离散时, p ( x , y ) = P ( X = x , Y = y ) p(x,y) = P(X=x, Y=y) p(x,y)=P(X=x,Y=y)
连续时, P ( a < X < b , c < Y < d ) = ∫ c d ∫ a b p ( x , y ) d x d y P(aP(a<X<b,c<Y<d)=cdabp(x,y)dxdy p ( x , y ) p(x,y) p(x,y)为联合概率密度函数。

条件概率
p ( x ∣ y ) = P ( X = x ∣ Y = y ) p(x|y)=P(X=x|Y=y) p(xy)=P(X=xY=y)表示在 Y = y Y=y Y=y的条件下, X = x X=x X=x的概率。
p ( x ∣ y ) = p ( x , y ) p ( y ) p ( x , y ) = p ( x ∣ y ) p ( y ) = p ( y ∣ x ) p ( x ) p(x|y)=\frac{p(x,y)}{p(y)} \\ p(x,y)=p(x|y)p(y)=p(y|x)p(x) p(xy)=p(y)p(x,y)p(x,y)=p(xy)p(y)=p(yx)p(x)

全概率公式
离散时, p ( x ) = ∑ y p ( x , y ) = ∑ y p ( x ∣ y ) p ( y ) p(x)=\sum_yp(x,y)=\sum_yp(x|y)p(y) p(x)=yp(x,y)=yp(xy)p(y)
连续时, p ( x ) = ∫ p ( x , y ) d y = ∫ p ( x ∣ y ) p ( y ) d y p(x)=\int p(x,y){\rm d}y=\int p(x|y)p(y){\rm d}y p(x)=p(x,y)dy=p(xy)p(y)dy
p ( x ) p(x) p(x) X X X边缘分布

贝叶斯公式
p ( x ∣ y ) = p ( x , y ) p ( y ) = p ( y ∣ x ) p ( x ) p ( y ) p(x|y)=\frac{p(x,y)}{p(y)}=\frac{p(y|x)p(x)}{p(y)} p(xy)=p(y)p(x,y)=p(y)p(yx)p(x)在贝叶斯定理中,每个名词都有约定俗成的名称:
p ( x ∣ y ) p(x|y) p(xy)被称作后验概率(Posterior probability)
p ( x ) p(x) p(x) p ( y ) p(y) p(y)被称作先验概率(Prior probability) 或边缘概率;
p ( y ∣ x ) p(y|x) p(yx)是条件概率,也称为似然性/可能性(likelihood)

2.贝叶斯滤波

滤波是一种方法、手段,在时移(time-varying)系统中,通过对带有噪声的前k个观测 y 1 : k y_{1:k} y1:k来估计隐状态 x k x_k xk的处理方法,记作 x k ∣ y 1 : k x_k|y_{1:k} xky1:k
贝叶斯滤波_第1张图片
这就是随机动态系统中的滤波问题,我们需要根据带有误差的实际测量数据对目标的位置、速度、加速度等进行估计。在二战期间,它是由于军事方面的需要而产生的,在通讯、控制等领域获得了广泛的应用。根据上述特性,具体地在全球定位系统(GPS)、多目标追踪、导航等方面的应用很多。

贝叶斯滤波模型假设
我们考虑的是随机动态系统,自然要用概率来刻画,所以我们需要一个概率状态空间模型,要素如下:
x k x_k xkk时刻的状态
y k y_k ykk时刻的观测
p ( x k ∣ x k − 1 ) p(x_k|x_{k-1}) p(xkxk1)状态转移概率
p ( y k ∣ x k ) p(y_k|x_k) p(ykxk)观测概率

贝叶斯滤波方程及其推导
初始化:
初始状态的先验分布为 p ( x 0 ) p(x_0) p(x0)
预测步:
利用前k-1个观测来估计第k个隐状态 x k x_k xk,可以根据全概率公式:
p ( x k ∣ y 1 : k − 1 ) = ∫ p ( x k ∣ x k − 1 ) p ( x k − 1 ∣ y 1 : k − 1 ) d x k − 1 p(x_k|y_{1:k-1})=\int p(x_k|x_{k-1})p(x_{k-1}|y_{1:k-1}){\rm d}x_{k-1} p(xky1:k1)=p(xkxk1)p(xk1y1:k1)dxk1
更新步:
利用预测和新加入的第k个观测 y k y_k yk,结合贝叶斯公式:
p ( x k ∣ y 1 : k ) = 1 Z k p ( y k ∣ x k ) p ( x k ∣ y 1 : k − 1 ) p(x_k|y_{1:k})=\frac{1}{Z_k}p(y_k|x_k)p(x_k|y_{1:k-1}) p(xky1:k)=Zk1p(ykxk)p(xky1:k1)
其中 Z k = ∫ p ( y k ∣ x k ) p ( x k ∣ y 1 : k − 1 ) d x k Z_k=\int p(y_k|x_k)p(x_k|y_{1:k-1}){\rm d}x_k Zk=p(ykxk)p(xky1:k1)dxk

这样的话,我们就确定了贝叶斯滤波框架,在这个框架下,我们就可以导出下面一系列的滤波:卡尔曼滤波、三种非线性滤波等等。

你可能感兴趣的:(概率论,机器学习,算法)