滤波算法(贝叶斯滤波)

贝叶斯滤波

$$\begin{array}{rl}p\left(\mathbf{x}|\mathbf{y},\mathbf{z}\right)& =\frac{p\left(\mathbf{x},\mathbf{y},\mathbf{z}\right)}{p\left(\mathbf{y},\mathbf{z}\right)}\\ & =\frac{p\left(\mathbf{y}|\mathbf{x},\mathbf{z}\right)p\left(\mathbf{x},\mathbf{z}\right)}{p\left(\mathbf{y},\mathbf{z}\right)}\\ & =\frac{p\left(\mathbf{y}|\mathbf{x},\mathbf{z}\right)p\left(\mathbf{x}|\mathbf{z}\right)p\left(\mathbf{z}\right)}{p\left(\mathbf{y}|\mathbf{z}\right)p\left(\mathbf{z}\right)}\\ & =\frac{p\left(\mathbf{y}|\mathbf{x},\mathbf{z}\right)p\left(\mathbf{x}|\mathbf{z}\right)}{p\left(\mathbf{y}|\mathbf{z}\right)}\end{array}$$

融合多次观测信息对一个状态进行推理估计：

把${\mathbf{z}}_k$看作$\mathbf{y}$，把${\mathbf{z}}_{1:k}$看作$\mathbf{z}$代入上式，假设所有观测是独立的
$$\begin{array}{rl}p\left(\mathbf{x}|{\mathbf{z}}_{1:k}\right)& =\frac{p\left({\mathbf{z}}_k|\mathbf{x},{\mathbf{z}}_{1:k-1}\right)p\left(\mathbf{x}|{\mathbf{z}}_{1:k-1}\right)}{p\left({\mathbf{z}}_k|{\mathbf{z}}_{1:k-1}\right)}\\ & ={\eta }_{k}p\left({\mathbf{z}}_k|\mathbf{x}\right)p\left(\mathbf{x}|{\mathbf{z}}_{1:k-1}\right)\\ & ={\eta }_{k}p\left({\mathbf{z}}_k|\mathbf{x}\right){\eta }_{k-1}p\left({\mathbf{z}}_{k-1}|\mathbf{x}\right)p\left(\mathbf{x}|{\mathbf{z}}_{1:k-2}\right)\\ & =\left[\prod _i^k{\eta }_{i}p\left({\mathbf{z}}_i|\mathbf{x}\right)\right]p\left(\mathbf{x}\right)\end{array}$$
${\mathbf{z}}_{1:k}$是已知观测量，与变量$\mathbf{x}$无关，${\eta }_k=\frac{1}{p\left({\mathbf{z}}_k|{\mathbf{z}}_{1:k-1}\right)}$为归一化常数。

离散时间的递归估计问题

定义如下运动和观测模型：
$$\begin{array}{rl}运动方程：& {\mathbf{x}}_k=\mathbf{f}({\mathbf{x}}_{k-1},{\mathbf{u}}_k,{\mathbf{w}}_k),k=1,\cdots ,K\\ 观测方程：& {\mathbf{y}}_k=\mathbf{h}({\mathbf{x}}_k,{\mathbf{n}}_k),k=0,\cdots ,K\end{array}$$
其中$k$为时间下标，最大值为$K$。函数$\mathbf{f}(\cdot )$为非线性的运动模型，函数$\mathbf{h}(\cdot )$为非线性的观测模型。我们并没有假设任何随机变量是高斯的，但是假设系统具有马尔可夫性。

当一个随机过程在给定现在状态及所有过去状态的情况下，其未来状态的条件概率仅依赖于当前状态；换句话说，未来状态与到达当前状态的历史路径是条件独立的。那么此随机过程成为马尔科夫过程，或者说它具有马尔可夫性。

贝叶斯滤波使用过去及当前的测量，构造一个完成的PDF来刻画当前状态。

假设所有观测是独立的，将最新的观测分解出来
$$\begin{array}{rl}\underset{k时刻状态估计后验概率}{p\left({\mathbf{x}}_k|{\check{\mathbf{x}}}_0,{\mathbf{u}}_{1:k},{\mathbf{y}}_{0:k}\right)}& =\frac{p\left({\mathbf{y}}_k|{\mathbf{x}}_k,{\check{\mathbf{x}}}_0,{\mathbf{u}}_{1:k},{\mathbf{y}}_{0:k-1}\right)p\left({\mathbf{x}}_k|{\check{\mathbf{x}}}_0,{\mathbf{u}}_{1:k},{\mathbf{y}}_{0:k-1}\right)}{p\left({\mathbf{y}}_k|{\check{\mathbf{x}}}_0,{\mathbf{u}}_{1:k},{\mathbf{y}}_{0:k-1}\right)}\\ & =\eta \underset{k时刻观测模型}{p\left({\mathbf{y}}_k|{\mathbf{x}}_k\right)}\underset{k时刻状态估计先验概率}{p\left({\mathbf{x}}_k|{\check{\mathbf{x}}}_0,{\mathbf{u}}_{1:k},{\mathbf{y}}_{0:k-1}\right)}\end{array}$$
将注意力集中在第二个因子，引入隐藏状态${\mathbf{x}}_{k-1}$，并对其进行积分：
$$\begin{array}{rl}p\left({\mathbf{x}}_k|{\check{\mathbf{x}}}_0,{\mathbf{u}}_{1:k},{\mathbf{y}}_{0:k-1}\right)& =\int p\left({\mathbf{x}}_k,{\mathbf{x}}_{k-1}|{\check{\mathbf{x}}}_0,{\mathbf{u}}_{1:k},{\mathbf{y}}_{0:k-1}\right)\mathrm{d}{\mathbf{x}}_{k-1}\\ & =\int p\left({\mathbf{x}}_k\right|{\mathbf{x}}_{k-1},{\check{\mathbf{x}}}_0,{\mathbf{u}}_{1:k},{\mathbf{y}}_{0:k-1})p\left({\mathbf{x}}_{k-1}|{\check{\mathbf{x}}}_0,{\mathbf{u}}_{1:k},{\mathbf{y}}_{0:k-1}\right)\mathrm{d}{\mathbf{x}}_{k-1}\end{array}$$
隐藏状态的引入可以看作是边缘化的反向操作，目前为止，没有引入任何近似。
由于我们的系统具有马尔可夫性，可以写出：
$$\begin{array}{rl}p\left({\mathbf{x}}_k|{\mathbf{x}}_{k-1},{\check{\mathbf{x}}}_0,{\mathbf{u}}_{1:k},{\mathbf{y}}_{0:k-1}\right)& =p\left({\mathbf{x}}_k|{\mathbf{x}}_{k-1},{\mathbf{u}}_k\right)\\ p\left({\mathbf{x}}_{k-1}|{\check{\mathbf{x}}}_0,{\mathbf{u}}_{1:k},{\mathbf{y}}_{0:k-1}\right)& =p\left({\mathbf{x}}_{k-1}|{\check{\mathbf{x}}}_0,{\mathbf{u}}_{1:k},{\mathbf{y}}_{0:k-1}\right)\end{array}$$
将上式代入原始的式子得
$$\begin{array}{r}p\left({\mathbf{x}}_k|{\check{\mathbf{x}}}_0,{\mathbf{u}}_{1:k},{\mathbf{y}}_{0:k}\right)=\eta \underset{用g(\cdot )进行更新}{p\left({\mathbf{y}}_k|{\mathbf{x}}_k\right)}\int \underset{用f(\cdot )进行预测}{p\left({\mathbf{x}}_k|{\mathbf{x}}_{k-1},{\mathbf{u}}_k\right)}\underset{先验置信度}{p\left({\mathbf{x}}_{k-1}|{\check{\mathbf{x}}}_0,{\mathbf{u}}_{1:k-1},{\mathbf{y}}_{0:k-1}\right)}\mathrm{d}{\mathbf{x}}_{k-1}\end{array}$$
可以看到该式具有预测-校正的形式。在预测阶段，先验置信度$p\left({\mathbf{y}}_k|{\mathbf{x}}_k\right)$通过输入${\mathbf{u}}_k$和运动模型$\mathbf{f}(\cdot )$在时间上进行前向传播。在校正阶段，则通过观测模型$\mathbf{g}(\cdot )$来更新预测估计状态，并得到后验置信度$p\left({\mathbf{x}}_k|{\check{\mathbf{x}}}_0,{\mathbf{u}}_{1:k},{\mathbf{y}}_{0:k}\right)$
贝叶斯滤波器虽然精确，但也仅仅是一个精美的数学产物；除了线性高斯的情况外，在实际中它基本不可能实现。主要原因有两个，为此我们需要适当地作一些近似：

1. 概率密度函数存在于在无限维的空间中(与所有的连续函数一样)，因此需要无限的存储空间(即无限的参数)来完全表示置信度$p\left({\mathbf{x}}_k|{\check{\mathbf{x}}}_0,{\mathbf{u}}_{1:k},{\mathbf{y}}_{0:k}\right)$。为了克服存储空间的问题，需要将这个置信度大致地表现出来。一种方法是将该函数近似为高斯(即只关心一、二阶矩：均值和协方差)，另一种方法是使用有限数量的随机样本来近似。我们将在后面研究这两种方法。
2. 贝叶斯滤波器的积分在计算上十分耗时，它需要无限的计算资源去计算精确的结果。为了克服计算资源的问题，必须对积分进行近似。一种方法是对运动和观测模型进行线性化，然后对积分进行闭式求解。另一种方法是使用蒙特卡罗积分( Monte Carlo integration )。我们也会在后面研究这两种方法。

递归式状态估计的大部分研究集中在如何用更好的近似来处理这两个问题。这些方面已经有了相当大的进展，值得我们更加详细地去研究。因此，在接下来的几节中，我们将介绍一些经典和现代的方法来近似贝叶斯滤波。但是，我们必须牢记贝叶斯滤波的假设：马尔科夫性。我们必须不断审视：如果对贝叶斯滤波器做这些近似，马尔科夫性会发生什么改变？