RLS算法到卡尔曼滤波 I

我的这篇文章写了RLS算法的直接动机。
https://blog.csdn.net/ZLH_HHHH/article/details/89061839
数学上等价于最小二乘法。
接着《$RLS$算法》这篇文章来说。

$P$矩阵到意义

回想，最初目标函数的定义：
$$\begin{gathered} J=E((Y(k)-H(k)\hat{x}(k){)}^T(Y(k)-H(k)\hat{x}(k))) \\ =E((H(k)x+v(k)-H(k)\hat{x}(k){)}^T(H(k)x+v(k)-H(k)\hat{x}(k))) \end{gathered}$$
解释一下，这里$v(k)$是测量误差，是不可观测的。区别于估计误差。一般假设其均值为$0$,即：$E(v)=0$,即无偏。
那么：
$$J=E\left[\right(\hat{x}(k)-x{)}^T{H}^T(k)H(k)(\hat{x}(k)-x)]$$
这也就是说，最小化$J$时，等价于最小话：
$$J^{\prime }=E((\hat{x}(k)-x{)}^T(\hat{x}(k)-x))$$
最小化上式，意味着新的一次估计更加接近真实的$x$
令：$A(k)=E((\hat{x}(k)-x)(\hat{x}(k)-x{)}^T)$ 则有：$J^{\prime }=Tr(A(k))$
最小化$J^{\prime }$与最小化$J$最后结果是一样的。
考虑计算最佳增益$K$
$$\begin{gathered} \hat{x}(k)-x=\hat{x}(k-1)+K(k)(y(k)-h(k)\hat{x}(k-1))-x \\ =\hat{x}(k-1)+K(k)(h(k)x+v(k)-h(k)\hat{x}(k-1))-x \\ =(I-K(k)h(k))(\hat{x}(k-1)-x)+K(k)v(k) \end{gathered}$$

那么:
$$A(k)=(I-K(k)h(k))A(k-1)(I-K(k)h(k){)}^T+K(k)R(k)K^T(k)$$
在这里,$R(k)=E(v^2(k))$.
计算最优增益：
$$\frac{\partial Tr(A(k))}{\partial K(k)}=-2h(k)A(k-1)+2h(k)A(k-1)h^T(k)K^T(k)+2R(k)K^T(k)=0$$
$$h(k)A(k-1)+((h(k)A(k-1)h^T(k)+R(k))K^T(k)=0$$
所以：$$K(k)=\frac{A(k-1)h^T(k)}{R(k)+h(k)A(k-1)h^T(k)}$$
显然，上述更新方式和带权最小二乘法是一样的。
因为：
$$K(k)=P(k)h^T(k)R^{-}(k)$$
将$A$递推式子，替换$P$
$$\begin{gathered} (I-K(k)h(k))P(k-1)(I-K(k)h(k){)}^T+K(k)R(k)K^T(k) \\ =P(k)-P(k)h^T(k)K^T(k)+P(k)h^T(k)R^{-}(k)R(k)K^T(k) \\ =P(k) \end{gathered}$$
回想$J^{\prime }$最小化时，$J$最小化，有足够的理由，认为$P(k)$就是$\hat{x}(k)$的协方差矩阵，即为：
$$P(k)=(H^T(k)H(k){)}^{-}=E((\hat{x}(k)-x)(\hat{x}(k)-x{)}^T)$$