递推最小二乘RLS推导

批次的最小二乘是给定一批数据比如 $\{y_i\in \mathbb{R},x_i\in {\mathbb{R}}^n,i=1,...,N\}$，满足$$y_i=x_i^T\theta$$ 从而辨识 $n\times 1$维参数向量 $\theta =[{\theta }_1,...,{\theta }_n]$
写成紧凑的形式为$$Y_N=X_N\theta$$ 其中 $Y_N\in {\mathbb{R}}^N$，$X_N$ 是个 $N\times n$ 的矩阵，每一行对应一个 $x_i^T$
估计的参数 $\hat{\theta }$ 越准，则模型的预测值 $X_N\hat{\theta }$ 的结果越接近 $Y_N$，因此我们的目标是最小化估计的误差$$minimize||Y_N-X_N\hat{\theta }|{|}_2$$对 $\hat{\theta }$ 求导$$\begin{gathered} X_N^T(Y_N-X_N\hat{\theta })=0 \\ {X}_N^T{Y}_N-X_N^T{X}_N\hat{\theta }=0 \end{gathered}$$ 得到 $$\hat{\theta }=(X_N^T{X}_N{)}^{-1}{X}_N^T{Y}_N\text{\hspace{1em}(1)}$$ 也就是说如果在 $t$ 时刻有了 $N$ 组数据，我们就可以用 $(1)$ 来辨识模型参数 ${\hat{\theta }}_t$。
那么问题来了，每个时刻会有新的数据进来，都这么一搞也太折腾了，于是有了递推最小二乘，目的在于每步更新模型参数是基于上一时刻的模型参数以及这一时刻的数据进行修正，即
$${\hat{\theta }}_t={\hat{\theta }}_{t-1}+修正量f(y_t,x_t)$$ 观察公式 $(1)$，需要建立相邻两个时刻之间的关系，首先定义变量 $P_N^{-1}=(X_N^T{X}_N)$，即$$\begin{gathered} P_N^{-1}=[x_1,x_2,...,x_N][x_1^T;x_2^T;...;x_N^T] \\ =\sum _{i=1}^{N-1}{x}_i{x}_i^T+x_N{x}_N^T \\ =P_{N-1}^{-1}+x_N{x}_N^T\text{\hspace{1em}(2)} \end{gathered}$$同理$$X_N^T{Y}_N=X_{N-1}^T{Y}_{N-1}+x_N{y}_N\text{\hspace{1em}(3)}$$ 利用公式 $(2)(3)$ 重新梳理公式 $(1)$ $${\hat{\theta }}_t=P_N(X_{N-1}^T{Y}_{N-1}+x_N{y}_N)\text{\hspace{1em}(4)}$$ 利用 $$\begin{gathered} {\hat{\theta }}_{t-1}=P_{N-1}{X}_{N-1}^T{Y}_{N-1} \\ {P}_{N-1}^{-1}{\hat{\theta }}_{t-1}=X_{N-1}^T{Y}_{N-1}\text{\hspace{1em}(5)} \end{gathered}$$ 将 $(5)$ 带入 $(4)$ $$\begin{gathered} {\hat{\theta }}_t=P_N(P_{N-1}^{-1}{\hat{\theta }}_{t-1}+x_N{y}_N) \\ =P_N(P_N^{-1}-x_N{x}_N^T){\hat{\theta }}_{t-1}+P_N{x}_N{y}_N \\ ={\hat{\theta }}_{t-1}+P_N{x}_N{y}_N-P_N{x}_N{x}_N^T{\hat{\theta }}_{t-1} \\ ={\hat{\theta }}_{t-1}+P_N(x_N{y}_N-x_N{x}_N^T{\hat{\theta }}_{t-1})\text{\hspace{1em}(6)} \end{gathered}$$由 $(2)$ 可得 $$P_N=(P_{N-1}^{-1}+x_N{x}_N^T{)}^{-1}$$根据

矩阵逆引理：
$$[A+BCD{]}^{-1}=A^{-1}-A^{-1}B[C^{-1}+D{A}^{-1}B{]}^{-1}D{A}^{-1}$$

$$P_N=P_{N-1}-P_{N-1}{x}_N[I+x_N^T{P}_{N-1}{x}_N{]}^{-1}{x}_N^T{P}_{N-1}\text{\hspace{1em}(7)}$$因此RLS的求解为
$$\begin{gathered} P_N=P_{N-1}-P_{N-1}{x}_N[I+x_N^T{P}_{N-1}{x}_N{]}^{-1}{x}_N^T{P}_{N-1} \\ {\hat{\theta }}_t={\hat{\theta }}_{t-1}+P_N{x}_N(y_N-x_N^T{\hat{\theta }}_{t-1}) \end{gathered}$$其中，$(y_N-x_N^T{\hat{\theta }}_{t-1})$ 相当于 $t-1$ 时刻的参数用于 $t$ 时刻预测时带来的偏差，$P_N{x}_N$ 相当于修正系数