2.序贯最小二乘估计(仅包含滤波)

\qquad DC电平估计为例，估计值$\hat{A}$为数据样本$x[N]$均值，则LSE变为：
$$\hat{A}[N]=\frac{1}{N+1}\sum _{n=0}^{N}x[n]$$ \qquad 在加权LS问题中，当加权矩阵为$\mathbf{W}$(通常为噪声矩阵)是对角矩阵时，其中$[\mathbf{W}{]}_{ii}=1/{\sigma }_i^2$，加权LSE表达式为：
$$\hat{A}[N]=\frac{{\sum }_{n=0}^N\frac{x[n]}{{\sigma }_n^2}}{{\sum }_{n=0}^N\frac{1}{{\sigma }_n^2}}$$ \qquad 分解为序贯形式为：
$$\begin{gathered} \hat{A}[N]=\frac{{\sum }_{n=0}^{N-1}\frac{x[n]}{{\sigma }_n^2}+\frac{x[N]}{{\sigma }_N^2}}{{\sum }_{n=0}^N\frac{1}{{\sigma }_n^2}}=\frac{{\sum }_{n=0}^{N-1}\frac{1}{{\sigma }_n^2}\hat{A}[N-1]+\frac{x[N]}{{\sigma }_N^2}}{{\sum }_{n=0}^N\frac{1}{{\sigma }_n^2}} \\ =\hat{A}[N-1]+\frac{\frac{1}{{\sigma }_N^2}}{{\sum }_{n=0}^N\frac{1}{{\sigma }_n^2}}\ast (x[N]-\hat{A}[N-1]) \end{gathered}$$ \qquad 其中，LSE即为最优线性无偏估计(BLUE)，因此：
$$var(\hat{A}[N-1])=\frac{1}{{\sum }_{n=0}^{N-1}\frac{1}{{\sigma }_n^2}}$$ \qquad 由此，增益$K[N]$可以表示为：
$$K[N]=\frac{var(\hat{A}[N-1])}{var(\hat{A}[N-1])+{\sigma }_N^2}$$ \qquad 由于增益$K[N]$取决于$var(\hat{A}[N-1])$，则可以表示为：
$$\begin{gathered} var(\hat{A}[N])=\frac{1}{{\sum }_{n=0}^N\frac{1}{{\sigma }_n^2}}=\frac{1}{\frac{1}{var(\hat{A}[N-1])}+\frac{1}{{\sigma }_N^2}}=\frac{var(\hat{A}[N-1]){\sigma }_N^2}{var(\hat{A}[N-1])+{\sigma }_N^2} \\ =(1-\frac{var(\hat{A}[N-1])}{var(\hat{A}[N-1])+{\sigma }_N^2})var(\hat{A}[N-1])=(1-K[N])var(\hat{A}[N-1]) \end{gathered}$$ \qquad 由此，$\hat{A}[N],K[N],var(\hat{A}[N])$可以递推获得。
估计量更新为：$$\hat{A}[N]=\hat{A}[N-1]+K[N](x[N]-\hat{A}[N-1])$$
方差更新为：$$var(\hat{A}[N])=(1-K[N])var(\hat{A}[N-1])$$ \qquad 具有矢量参数的序贯LSE，使用$C$表示零均值噪声的矩阵，即:
$$\mathbf{J}=(\mathbf{x}-\mathbf{H}\theta {)}^T{\mathbf{C}}^{-1}(\mathbf{x}-\mathbf{H}\theta )$$其中，包含与BLUE相同的条件即$\hat{\theta }$无偏且线性。则最优的估计值为：
$$\begin{gathered} \hat{\theta }=({\mathbf{H}}^T{\mathbf{C}}^{-1}H){\mathbf{H}}^{-1}{\mathbf{C}}^{-1}\mathbf{x} \\ {\mathbf{C}}_{\hat{\theta }}=({\mathbf{H}}^T{\mathbf{C}}^{-1}\mathbf{H}{)}^{-1} \end{gathered}$$其中，$\mathbf{C}$是对焦矩阵，即噪声不相关，因此$\hat{\theta }$可按照时间顺序获得，令:
$$\begin{gathered} \mathbf{C}[n]=diag\{{\sigma }_1^2,{\sigma }_2^2,...,{\sigma }_n^2\} \\ \mathbf{H}[n]=\left[\begin{array}{c}\mathbf{H}[n-1]\\ {\mathbf{h}}^T[n]\end{array}\right]=\left[\begin{array}{c}n\times p\\ 1\times p\end{array}\right] \\ \mathbf{x}[n]=[x[1],x[2],...,x[n]{]}^T \end{gathered}$$ \qquad 使用$\hat{\theta }[n]$表示基于$\mathbf{x}[n]$或者基于前$n+1$个数据样本的加权LSE，估计量为：
$$\hat{\theta }[n]=({\mathbf{H}}^T[n]{\mathbf{C}}^{-1}[n]\mathbf{H}[n]{)}^{-1}\mathbf{H}[n{]}^T{\mathbf{C}}^{-1}[n]\mathbf{x}[n]$$ \qquad 协方差矩阵$\sum [n]$为：
$${\mathbf{C}}_{\hat{\theta }[n]}=\sum [n]=({\mathbf{H}}^T[n]{\mathbf{C}}^{-1}[n]\mathbf{H}[n]{)}^{-1}$$$$\begin{gathered} \hat{\theta }[n]=([{\mathbf{H}}^T[n-1],\mathbf{h}[n]]{\left[\begin{array}{cc}\mathbf{C}[n-1]& 0\\ 0& {\sigma }_n^2\end{array}\right]}^{-1}\left[\begin{array}{c}\mathbf{H}[n-1]\\ {\mathbf{h}}^T[n]\end{array}\right]{)}^{-1} \\ ([{\mathbf{H}}^T[n-1],\mathbf{h}[n]]{\left[\begin{array}{cc}\mathbf{C}[n-1]& 0\\ 0& {\sigma }_n^2\end{array}\right]}^{-1}\left[\begin{array}{c}\mathbf{x}[n-1]\\ x[n]\end{array}\right]) \\ =({\mathbf{H}}^T[n-1]{\mathbf{C}}^{-1}[n-1]\mathbf{H}[n-1]+\frac{1}{{\sigma }_n^2}\mathbf{h}[n]{\mathbf{h}}^T[n]{)}^{-1} \\ ({\mathbf{H}}^T[n-1]{\mathbf{C}}^{-1}[n-1]\mathbf{x}[n-1]+\frac{1}{{\sigma }_n^2}\mathbf{h}[n]\mathbf{x}[n]) \end{gathered}$$令$\sum [n-1]=({\mathbf{H}}^T[n-1]{\mathbf{C}}^{-1}[n-1]\mathbf{H}[n-1]{)}^{-1}$
则$$\begin{gathered} \hat{\theta }[n]=({\sum }^{-1}[n-1]+\frac{1}{{\sigma }_n^2}\mathbf{h}[n]{\mathbf{h}}^T[n]{)}^{-1} \\ ({\mathbf{H}}^T[n-1]{\mathbf{C}}^{-1}[n-1]\mathbf{x}[n-1]+\frac{1}{{\sigma }_n^2}\mathbf{h}[n]\mathbf{x}[n]) \end{gathered}$$因为$$\sum [n]=({\sum }^{-1}[n-1]+\frac{1}{{\sigma }_n^2}\mathbf{h}[n]{\mathbf{h}}^T[n]{)}^{-1}$$由Woodbury恒等式$$(A+u{u}^T{)}^{-1}=A^{-1}-\frac{A^{-1}u{u}^T{A}^{-1}}{1+u^T{A}^{-1}u}$$得：$$\begin{gathered} \sum [n]=\sum [n-1]-\frac{\sum [n-1]\mathbf{h}[n]\mathbf{h}[n{]}^T\sum [n-1]}{{\sigma }_n^2+\mathbf{h}[n{]}^T\sum [n-1]\mathbf{h}[n]} \\ =(\mathbf{I}-\mathbf{K}[n]{\mathbf{h}}^T[n])\sum [n-1] \end{gathered}$$其中，$$\mathbf{K}[n]=\frac{\sum [n-1]\mathbf{h}[n]}{{\sigma }_n^2+\mathbf{h}[n{]}^T\sum [n-1]\mathbf{h}[n]}$$所以$$\begin{gathered} \hat{\theta }[n]=((\mathbf{I}-\mathbf{K}[n]{\mathbf{h}}^T[n])\sum [n-1]) \\ ({\mathbf{H}}^T[n-1]{\mathbf{C}}^{-1}[n-1]\mathbf{x}[n-1]+\frac{1}{{\sigma }_n^2}\mathbf{h}[n]\mathbf{x}[n]) \end{gathered}$$且$$\hat{\theta }[n-1]=\sum [n-1]{\mathbf{H}}^T[n-1]{\mathbf{C}}^{-1}[n-1]\mathbf{x}[n-1]$$化简的：$$\hat{\theta }[n]=\hat{\theta }[n-1]+\mathbf{K}[n](x[n]-{\mathbf{h}}^T[n]\hat{\theta }[n-1])$$以上得到方差更新方程和状态更新方程。