机器学习-白板推导系列笔记（十六）-粒子滤波

此文章主要是结合哔站shuhuai008大佬的白板推导视频：粒子滤波_98min

全部笔记的汇总贴：机器学习-白板推导系列笔记

一、背景介绍

动态模型是在概率图模型中加入一个时间序列的标记，样本之间不再是独立同分布，而是有了依赖关系。动态模型其实质是一个混合模型，我们看到的样本序列是观测序列，每一个观测值，背后都对应一个隐变量，称隐变量为系统状态，所以动态模型也称状态空间模型。

动态模型有两个假设，

• 齐次马尔可夫假设，对于隐变量，给定$Z_t$的情况下，$Z_{t+1}$和$Z_{t-1}$无关。
• 观测独立假设，对于观测值，给定$Z_t$的情况下，$x_t$只与$Z_t$有关。

可以得到两个方程，分别是$Z_t$与$Z_{t-1}$之间的关系，以及$x_t$与$Z_t$之间的关系。

$$Z_t=g(Z_{t-1},u,\epsilon )$$
$$x_t=h(Z_t,u,\delta )$$

关于HMM

在HMM中，参数为：

$$\lambda =(\pi ,A,B)$$

其中$A$是状态转移矩阵，对应函数$Z_t=g(Z_{t-1},u,\epsilon )$，$B$对应函数$x_t=h(Z_t,u,\delta )$。

关于Kalman Filter

在Kalman Filter中，我们有如下假设，

$$\begin{gathered} z_t=A\cdot z_{t-1}+B+\epsilon \\ {x}_t=C\cdot z_t+D+\delta \\ \epsilon \sim N(0,Q) \\ \delta \sim N(0,R) \end{gathered}$$

主要是解决Filtering问题，即求解边缘概率：

$$P(z_t|x_1,x_2,\cdots ,x_t)$$

主要分为两步，第一步是Prediction过程，也就是预测过程，相当于给$Z_t$一个先验，

$$P(z_t|x_1,x_2,\cdots ,x_{t-1})={\int }_{z_{t-1}}P(z_t|z_{t-1})\cdot P(z_{t-1}|x_1,x_2,\cdots ,x_{t-1})\mathrm{d}{z}_{t-1}$$

第二步是Update过程，也就是更新过程，就相当于是求$Z_t$的后验，

$$P(z_t|x_1,x_2,\cdots ,x_t)\propto P(x_t|z_t)\cdot P(z_t|x_1,x_2,\cdots ,x_{t-1})$$

具体求解过程可以参考：白板推导系列笔记（十五）-卡曼滤波

卡曼滤波对应线性，而粒子滤波则对应非线性。

二、重要性采样

因为卡曼滤波是一种线性高斯模型，所以可以通过不断地进行Prediction和Update来求得解析解。但对于粒子滤波这种非线性的模型而言，没有像高斯分布这样的比较好的特征，所以没有办法得到解析解，因此要解决Filtering问题，就必须借助于采样。

Monte Carlo Method

对于贝叶斯问题，主要就是给定$X$来求隐变量$Z$，即$P(Z|X)$，而蒙特卡洛方法就是通过抽样来近似地求后验。
而这其中最主要地就是求期望 $E$，

$$\begin{gathered} E_{z|x}[f(z)]=\int f(z)p(z|x)dz \\ \approx \frac{1}{N}\sum _{i=1}^{N}f(z^{(i)}) \end{gathered}$$
$N$个样本$z^{(i)}\sim p(z|x),z^{(1)},z^{(2)},\cdots ,z^{(N)}$

Importance Sampling

现在的难题是，我们无法从$p(z|x)$中采样，要么是$p(z|x)$很复杂，要么就维度较高。因此，我们采用 Importance Sampling来处理这个问题，引入一个相对简单、可以直接采样的$q(z)$，再分析上式中的期望$E$：

$$\begin{gathered} E_{z|x}[f(z)]=\int f(z)p(z|x)dz \\ =\int f(z)\frac{p(z|x)}{q(z|x)}q(z|x)dz \\ =\frac{1}{N}\sum _{i=1}^{N}f(z^{(i)})\frac{p(z^{(i)}|x_1,x_2,\cdots ,x_t)}{q(z^{(i)}|x_1,x_2,\cdots ,x_t)} \end{gathered}$$
$q(z|x),z^{(i)}\sim q(z),i=1,2,\cdots ,N$
$q(z|x)$：提议分布
$w^{(i)}=\frac{p(z^{(i)}|x_1,x_2,\cdots ,x_t)}{q(z^{(i)}|x_1,x_2,\cdots ,x_t)}$：weight

我们引入$x_{1:t}=x_1,x_2,\cdots ,x_t$，所以，对于filtering问题，

$$w_t^{(i)}=\frac{p(z_t^{(i)}|x_{1:t})}{q(z_t^{(i)}|x_{1:t})}$$

所以，当$t=1$时，求$w_1^{(i)},i=1,2,\cdots ,N$，即求$w_1^1,w_1^2,\cdots ,w_1^N$；
当$t=2$时，求$w_2^{(i)},i=1,2,\cdots ,N$，即求$w_2^1,w_2^2,\cdots ,w_2^N$；
$⋮$
不难发现，如果要计算$w$的值，我们每个时刻都要算$N$次，而且$p(z_t^{(i)}|x_{1:t})$也是非常难求的，所以我们需要简化$w$的求解。

Sequential Importance Sampling

SIS（Sequential Importance Sampling）的引入就是为了寻找$w_t^{(i)}$与$w_{t-1}^{(i)}$之间的关系。不是直接求$p(z_t|x_{1:t})$，而是求$p(z_{1:t}|x_{1:t})$这个边缘概率。所以对于$w_t^{(i)}$有：

$$w_t^{(i)}\propto \frac{p(z_{1:t}|x_{1:t})}{q(z_{1:t}|x_{1:t})}$$

我们首先看分子，

$$\begin{gathered} p(z_{1:t}|x_{1:t})=\frac{p(z_{1:t},x_{1:t})}{\underset{C}{p(x_{1:t})}} \\ =\frac{1}{C}p(z_{1:t},x_{1:t}) \\ =\frac{1}{C}p(x_t|z_{1:t},x_{1:t-1})\cdot p(z_{1:t},x_{1:t}) \\ =\frac{1}{C}p(x_t|z_t)\cdot p(z_{1:t},x_{1:t}) \\ =\frac{1}{C}p(x_t|z_t)\cdot p(z_t|z_{1:t-1},x_{1:t-1})\cdot p(z_{1:t-1},x_{1:t-1}) \\ =\frac{1}{C}p(x_t|z_t)\cdot p(z_t|z_{t-1})\cdot p(z_{1:t-1},x_{1:t-1}) \\ =\frac{1}{C}p(x_t|z_t)\cdot p(z_t|z_{t-1})\cdot p(z_{1:t-1}|x_{1:t-1})\cdot \underset{D}{p(x_{1:t-1})} \\ =\frac{D}{C}p(x_t|z_t)\cdot p(z_t|z_{t-1})\cdot p(z_{1:t-1}|x_{1:t-1}) \end{gathered}$$

然后我们看分母，

假定有：$q(z_{1:t}|x_{1:t})=q(z_t|z_{1:t-1},x_{1:t})\cdot q(z_{1:t-1}|x_{1:t-1})$

所以，可以推出：

$$\begin{gathered} w_t^{(i)}\propto \frac{p(z_{1:t}|x_{1:t})}{q(z_{1:t}|x_{1:t})}\propto \frac{p(x_t|z_t)\cdot p(z_t|z_{t-1})\cdot p(z_{1:t-1}|x_{1:t-1})}{q(z_t|z_{1:t-1},x_{1:t})\cdot q(z_{1:t-1}|x_{1:t-1})} \\ =\frac{p(x_t|z_t)\cdot p(z_t|z_{t-1})}{q(z_t|z_{1:t-1},x_{1:t})}\cdot w_{t-1}^{(i)} \end{gathered}$$

所以，当我们在$t=1$时刻求出$w_1^{(i)},N$个值的时候，再求$t=2$时刻时，只需要套用上述公式，就能直接求出$w_2^{(i)}$，也就解决了$w$计算难的问题。所以，

$$\begin{gathered} E_{z|x}[f(z)]=\int f(z)p(z|x)dz \\ =\int f(z)\frac{p(z|x)}{q(z|x)}q(z|x)dz \\ =\frac{1}{N}\sum _{i=1}^{N}f(z^{(i)})\frac{p(z^{(i)}|x_1,x_2,\cdots ,x_t)}{q(z^{(i)}|x_1,x_2,\cdots ,x_t)} \\ =\frac{1}{N}\sum _{i=1}^{N}f(z^{(i)})w^{(i)} \\ =\sum _{i=1}^{N}f(z^{(i)}){\hat{w}}^{(i)} \end{gathered}$$

三、重采样（Resampling）

algorithm：
前提：$t-1$时刻，采样已经完成，即$w_{t-1}^{(i)}$已知，
$t$时刻： for $i=1,2,\cdots ,N$
$$\begin{gathered} z_t^{(i)}\sim q(z_t|z_{t-1},x_{1:t}) \\ {w}_t^{(i)}\propto w_{t-1}^{(i)}\cdot \frac{p(x_t|z_t^{(i)})\cdot p(z_t^{(i)}|z_{t-1}^{(i)})}{q(z_t^{(i)}|z_{t-1}^{(i)},x_{1:t})} \end{gathered}$$
end

$w_t^{(i)}$归一化，即${\sum }_{i=1}^N{w}_t^{(i)}=1$。

问题：权值退化，随着$i$增大，$w_t^{(i)}$的权值会接近于$0$.
方法：

• 重采样 Resampling
• 选择一个合适的proposal dist $q(z)$

Basic Particle Filter = SIS + Resampling

四、SIR Filter

如何选择一个合适的$q(z)$？
我们一般选择，

$$q(z_t|z_{1:t-1},x_{1:t})=p(z_t|z_{t-1})$$

此时，

$$\begin{gathered} w_t^{(i)}=w_{t-1}^{(i)}\cdot \frac{p(x_t|z_t^{(i)})\cdot p(z_t^{(i)}|z_{t-1}^{(i)})}{q(z_t^{(i)}|z_{t-1}^{(i)},x_{1:t})} \\ =w_{t-1}^{(i)}\cdot \frac{p(x_t|z_t^{(i)})\cdot p(z_t^{(i)}|z_{t-1}^{(i)})}{p(z_t^{(i)}|z_{t-1}^{(i)})} \\ =w_{t-1}^{(i)}\cdot p(x_t|z_t^{(i)}) \end{gathered}$$

其中，

$$z_t^{(i)}\sim p(z_t|z_{t-1}^{(i)})$$

此算法叫做SIR Filter（Sampling Importance Resampling Filter）= SIS + Resampling+$\underset{=p(z_t|z_{t-1})}{q(z)}$

         \;\;\;\; “$\underset{z_t=p(z_t|z_{t-1})}{generate}and\underset{w_t^{(i)}=w_{t-1}^{(i)}\cdot p(x_t|z_t^{(i)})}{test}$”

下一章传送门：白板推导系列笔记（十七）-条件随机场