最小二乘法系统辨识小结

吴爱国.系统辨识讲义
丁峰.系统辨识新论

最近看完了系统辨识课程的讲义，总结一下讲义上的内容：
系统辨识分为系统结构辨识和系统参数辨识。课程的内容是系统参数的辨识，即假设系统结构已知。
辨识的四要素：输入输出数据，模型集，准则函数，优化方法。
课程中模型的结构已知，实际的辨识中会存在多个可能的模型结构，构成待辨识的模型集。

$$A(z)=1+a_1{z}^{-1}+a_2{z}^{-2}+.....+a_{n_a}{z}^{-n_a}$$$$B(z)=b_1{z}^{-1}+b_2{z}^{-2}+.....+b_{n_b}{z}^{-n_b}$$$$C(z)=1+c_1{z}^{-1}+c_2{z}^{-2}+.....+c_{n_c}{z}^{-n_c}$$$$D(z)=1+d_1{z}^{-1}+d_2{z}^{-2}+.....+d_{n_d}{z}^{-n_d}$$$$F(z)=1+f_1{z}^{-1}+f_2{z}^{-2}+.....+f_{n_f}{z}^{-n_f}$$
随机白噪声 $v(t)$,$E(v(t))=0$,$D(v(t))={\sigma }^2$

一.常用随机系统模型

常用的辨识模型有以下几类：

1.时间序列模型

（1）自回归模型（AR）$$A(z)y(t)=v(t)$$
该模型表示当前值是过去值的组合。
(2)滑动平均模型(MA)$$y(t)=D(z)v(t)$$
当前值是过去白噪声的组合。
(3)滑动平均自回归模型（ARMA）$$A(z)y(t)=D(z)v(t)$$
（4）确定性模型（ARMA）$$A(z)y(t)=B(z)u(t)$$

2.方程误差模型

误差是指描述输入和输出之间的差分方程的误差.
(1)受控自回归模型(ARX)$$A(z)y(t)=B(z)u(t)+v(t)$$
(2)受控自回归滑动平均模型(ARMAX)$$A(z)y(t)=B(z)u(t)+D(z)v(t)$$
(3)受控ARAR模型(ARARX)$$A(z)y(t)=B(z)u(t)+v(t)/C(z)$$
(4)受控ARARMA模型(ARARMAX)$$A(z)y(t)=B(z)u(t)+\frac{D(z)}{C(z)}v(t)$$

3.输出误差模型

(1)输出误差模型(OE)$$y(t)=\frac{B(z)}{A(z)}u(t)+v(t)$$
(2)输出误差滑动平均模型(OEMA)$$y(t)=\frac{B(z)}{A(z)}u(t)+D(z)v(t)$$
(3)输出误差自回归模型(OEAR)$$y(t)=\frac{B(z)}{A(z)}u(t)+\frac{1}{C(z)}v(t)$$
(4)输出误差自回归滑动平均模型(OEARMA)$$y(t)=\frac{B(z)}{A(z)}u(t)+\frac{D(z)}{C(z)}v(t)$$

二.辨识模型

为了辨识系统参数,一般把系统的参数写成一个参数向量形式,输入输出写成一个信息向量形式,就得到系统的辨识模型,也称为辨识表达式.一般单输入单输出线性参数系统的辨识模型可以表达为:$$y(t)={\phi }^T(t)\theta +v(t)$$

三. 最小二乘基本原理

以一个典型的受控自回归模型为例:
设系统的模型为$$y(t)+a_{1}y(t-1)+a-2y(t-2)=b_{1}u(t)+b_{2}u(t-1)+v(t)$$
将其写为如下的形式:$$y(t)=-a_{1}y(t-1)-a_{2}y(t-2)+b_{1}u(t)+b_{2}u(t-1)+v(t)$$
设观测的数据长度为t,对这个模型有:$$y(3)=-a_{1}y(2)-a_{2}y(1)+b_{1}u(3)+b_{2}u(2)+v(3)$$$$y(4)=-a_{1}y(3)-a_{2}y(2)+b_{1}u(4)+b_{2}u(3)+v(4)$$$$...............$$$$y(t)=-a_{1}y(t-1)-a_{2}y(t-2)+b_{1}u(t)+b_{2}u(t-1)+v(t)$$
令$$Y=[y(3),y(4)....y(t){]}^T$$$${\phi }^T(i)=[-y(i-1),-y(i-2),u(i),u(i-1)]$$$$\theta =[a_1,a_2,b_1,b_2]$$$$H=[\phi (3),\phi (4),.....\phi (t){]}^T$$$$V=[v(3),v(4)....v(t){]}^T$$

我们可以得到:$$Y=H\theta +V$$
令准则函数为$$J(\theta )=(Y-H\theta {)}^T(Y-H\theta )$$
$J$对$\theta$求偏导,并令其偏导数为零.得到$\theta$的估计值${\theta }_{LS}=(H^{T}H{)}^{-1}{H}^{T}Y$

四.最小二乘估计的统计特性

1.无偏性定理

已知$\theta$的最小二乘估计${\theta }_{LS}=(H^{T}H{)}^{-1}{H}^{T}Y$,辨识模型可以写成:$Y=H\theta +W$,$W$代表任意形式的噪声.在这里先不考虑$W$中未知参数的辨识,只考虑与输入和输出(可测)有关的待估计参数.
则${\theta }_{LS}$的数学期望$$E({\theta }_{LS})=E[(H^{T}H{)}^{-1}{H}^{T}Y]$$$$=E[(H^{T}H{)}^{-1}{H}^T(H\theta +W)]\theta$$$$=E[\theta +(H^{T}H{)}^{-1}{H}^{T}W]$$$$=\theta +E[(H^{T}H{)}^{-1}{H}^{T}W]$$其中$(H^{T}H{)}^{-1}{H}^T为常数$,所以$$E({\theta }_{LS})=\theta +(H^{T}H{)}^{-1}{H}^{T}E[W]$$当$W$为白噪声,则$E({\theta }_{LS})=\theta$.$E({\theta }_{LS})$为$\theta$的无偏估计.
或当噪声向量$W$的均值为0,且与$H$无关时,$E({\theta }_{LS})$为$\theta$的无偏估计.

2.估计误差协方差定理

对一个系统$Y=H\theta +W$,设噪声向量$W$的均值为零,协方差矩阵$cov[W]=R_v$,且$W$与$H$相互独立,则参数估计误差$\widetilde{{\theta }_{LS}}={\theta }_{LS}-\theta$的协方差矩阵为$$cov[\widetilde{{\theta }_{LS}}]=E[(H^{T}H{)}^{-1}{H}^T{R}_{v}H(H^{T}H{)}^{-1}]$$
$$cov[\widetilde{{\theta }_{LS}}]={\sigma }^{2}E[(H^{T}H{)}^{-1}]$$
如果$W$是一白噪声序列，且其方差为${\sigma }^2$,则$$cov[\widetilde{{\theta }_{LS}}]={\sigma }^{2}E[(H^{T}H{)}^{-1}]$$

3.噪声方差估计定理

对一个系统$Y=H\theta +W$,设$W$和$H$是统计独立的零均值白噪声向量,$W$的分量为零均值白噪声向量$v(t)$,则v(t)的方差${\sigma }^2$的估计为:$$\widehat{{\sigma }^2}=\frac{J[\widetilde{{\theta }_{LS}}]}{t-n},t充分大时$$其中$n:=dim\theta =\theta 的维数$

五.常用的各类最小二乘辨识算法

1.递推最小二乘辨识

适用模型
受控自回归模型(ARX):$A(z)y(t)=B(z)u(t)+v(t)$
将上述模型写为辨识模型的形式:$Y=H\theta +W$
递推最小二乘的算法如下:$$\hat{\theta }(t)=\hat{\theta }(t-1)+L(t)[y(t)-{\phi }^T(t)\hat{\theta }(t-1)]$$$$L(t)=\frac{P(t-1)\phi (t)}{1+{\phi }^T(t)P(t-1)\phi (t)}$$$$P(t)=[I-L(t){\phi }^T(t)]P(t-1),P(0)=p_{0}I$$$$\phi (t)=[-y(t-1),-y(t-2)....,-y(t-n_a),u(t-1),u(t-2),.....u(t-n_b)]$$
计算顺序如下:
$P(0)->L(1)->\hat{\theta }(1)->P(1)->L(1)->\hat{\theta }(2)->.....$
其中P(0)一般取$10^6$数量级.

2.带遗忘因子最小二乘系统辨识

适用模型
受控自回归模型(ARX):$A(z)y(t)=B(z)u(t)+v(t)$
将上述模型写为辨识模型的形式:$Y=H\theta +W$.
算法如下:
$$\hat{\theta }(t)=\hat{\theta }(t-1)+L(t)[y(t)-{\phi }^T(t)\hat{\theta }(t-1)]$$$$L(t)=\frac{P(t-1)\phi (t)}{\lambda +{\phi }^T(t)P(t-1)\phi (t)}$$$$P(t)=\frac{1}{\lambda }[I-L(t){\phi }^T(t)]P(t-1),P(0)=p_{0}I$$
$\lambda$一般取0.9~1,当$\lambda$取1时即为标准最小二乘算法.

3.新息与残差之间的关系

新息:$e(t)=y(t)-{\phi }^T(t)\hat{\theta }(t-1)$
残差:$\epsilon (t)=y(t)-{\phi }^T(t)\hat{\theta }(t)$
$e(t)=[1+\frac{1}{\lambda }{\phi }^T(t)\hat{\theta }(t)]\epsilon (t)$

4.有限数据窗最小二乘系统辨识

适用模型
受控自回归模型(ARX):$A(z)y(t)=B(z)u(t)+v(t)$
将上述模型写为辨识模型的形式:$Y=H\theta +W$.
算法如下:
$$\hat{\theta }(t)=\hat{\theta }(t-1)+P(t)[\phi (t),-\phi (t-p)][y(t)-{\phi }^T(t)\hat{\theta }(t-1),y(t-p)-{\phi }^T(t-p)\hat{\theta }(t-1){]}^T$$$$Q(t)=P(t-1)-\frac{P(t-1)\phi (t){\phi }^T(t)P(t-1)}{1+{\phi }^T(t)P(t-1)\phi (t)}$$$$P(t)=Q(t)+\frac{Q(t)\phi (t-p){\phi }^T(t-p)Q(t)}{1-{\phi }^T(t-p)Q(t)\phi (t-p)}$$

5.带遗忘因子的有限数据窗最小二乘算法

适用模型
受控自回归模型(ARX):$A(z)y(t)=B(z)u(t)+v(t)$
将上述模型写为辨识模型的形式:$Y=H\theta +W$.
$$\hat{\theta }(t)=\alpha (t-1)+P(t)\phi (t)[y(t)-{\phi }^T(t)\alpha (t-1)]$$$$P(t)=\frac{1}{\lambda }[P_{\alpha }(t-1)-\frac{P_{\alpha }(t-1)\phi (t){\phi }^T(t)P_{\alpha }(t-1)}{\lambda +{\phi }^T(t)P_{\alpha }(t-1)\phi (t)}]$$$$\alpha (t-1)=\hat{\theta }(t-1)-{\lambda }^{p-1}{P}_{\alpha }(t-1)\phi (t-p)[y(t)-{\phi }^T(t-p)\hat{\theta }(t-1)]$$$$P_{\alpha }(t-1)=P(t-1)+\frac{P_{\alpha }(t-1)\phi (t-p){\phi }^T(t-p)P_{\alpha }(t-1)}{{\lambda }^{-1}-{\phi }^T(t-p)P_{\alpha }(t-1)\phi (t-p)}$$