模型参考自适应控制器(MRAC)系列: 1.基于Lyapunov稳定判据的自适应律推导

模型参考自适应控制(MRAC)

引言

在设计一个控制系统时,其闭环稳定性,指令跟踪能力以及应对各种不确定因素(如模型误差,环境扰动,信号噪声等)的鲁棒性都是非常重要的性能参考指标.然而,当我们的基线控制器运行在充满不确定性的环境中时,其各项性能指标都不可避免地遭受不同程度的损失. 因此,我们提出这样一个问题:
是否可以通过某种控制器设计方法,提升控制器在充满不确定因素的环境中运行的性能,甚至恢复至与基线控制器在理想条件下运行的性能相当的水平?
基于这个问题,我们引入模型参考控制的概念.其设计理念是通过设计一个稳定的,理想条件下可预测的,满足我们需求的系统模型作为参考模型,再利用实际信号和参考模型信号之间的残差驱动着去修正最终控制律,使得实际的闭环系统特性趋近于预设的理想模型特性,即达到模型跟踪的效果.在这个过程中,理想模型中是不存在不确定因素的,因此模型参考控制也可以达到减少实际系统中不确定因素带来的性能损失的作用.

问题方程建立

不失一般性的,我们将存在不确定度的开环系统以以下形式建立状态空间模型
$${\dot{x}}_p=A_p{x}_p+B_p\Lambda u+B_p{\delta }_p(x_p)$$
其中 $A_p,B_p$ 分别是系统矩阵与控制矩阵, $x_p$ 是系统状态量,$u$ 是系统控制律.

上述状态空间模型的维度信息如下:
$$\begin{array}{rl}{x}_p& \in {\Re }^{n_p\times 1}\\ A_p& \in {\Re }^{n_p\times n_p}\\ B_p& \in {\Re }^{n_p\times m}\\ \Lambda & \in {\Re }^{m\times m}\\ u& \in {\Re }^{m\times 1}\\ {\delta }_p& \in {\Re }^{m\times 1}\end{array}$$
$\Lambda$ 被定义为已知的控制有效性不确定度,其形式如下
$$\Lambda =\left[\begin{array}{cccc}{\Lambda }_1& 0& \cdots & 0\\ 0& {\Lambda }_2& \cdots & 0\\ ⋮& ⋮& \ddots & ⋮\\ 0& 0& \cdots & {\Lambda }_m\end{array}\right]\succ 0$$
${\delta }_p(x_p)$ 被定义为系统非线性不确定度,其形式如下
$$\begin{array}{rl}& {\delta }_p(x_p)=W_p^T{\sigma }_p(x_p)\\ & \end{array}$$
其维度信息如下:
$$\begin{array}{rl}{\delta }_p& \in {\Re }^{m\times 1}\\ W_p& \in {\Re }^{n_s\times m}\\ {\sigma }_p& \in {\Re }^{n_s\times 1}\end{array}$$
其中 $W_p$ 是未知的权重,${\sigma }_p$ 是已知的基函数,其形式如下
$$\begin{array}{rl}& {\sigma }_p(x_p)=[{\sigma }_{p_1}(x_p)\cdots {\sigma }_{p_s}(x_p)]\\ & {\sigma }_{p_i}:{\Re }^{n_p\times 1}\to {\Re }^{n_s\times 1},\text{ a locally lipschitz function}\end{array}$$
因此,我们可以将系统的状态空间方程重写为

$${\dot{x}}_p=A_p{x}_p+Bp\Lambda [u+{\Lambda }^{-1}{B}_p{\delta }_p(x_p)]$$
值得注意的是,上述方程的形式告诉我们,控制律 $u$ 可以访问所有的不确定度. 那么,这是否意味着我们可以通过设计控制律 $u$
来达到消除系统不确定度带来的影响的目的呢? 先不着急,带着这个问题,我们先在不考虑不确定度的前提下为这个开环系统设计一个基线控制器.

首先,我们将整体控制律 $u$ 定义为以下的形式
$$u=u_n+u_a$$
其中 $u_n$ 是在理想(即模型准确,不存在不确定因素)的条件下为开环系统设计的控制律,称为基线控制律.
$u_a$ 则是为消除系统不确定度影响而设计的控制律,称为自适应控制律.

现在,我们就为这个理想系统设计基线控制器,在这种情况下 $u_a=0$,我们将基线控制律 $u_n$设计为以下形式
$$u=u_n+u_a=u_n=-K_x{x}_p+K_{r}r$$
其中 $K_x$ 为反馈增益,&x_p&为反馈的状态量,$K_r$ 为前馈增益,$r$为前馈的指令

上述控制律的维度信息如下:
$$\begin{array}{rl}{x}_p& \in {\Re }^{n_p\times 1}\\ K_x& \in {\Re }^{m\times n_p}\\ r& \in {\Re }^{n_c\times 1}\\ K_r& \in {\Re }^{m\times n_c}\end{array}$$
将上述基线控制律代入到理想开环系统方程中,我们得到了
$$\begin{array}{rl}{\dot{x}}_p& =A_p{x}_p+B_p{u}_n\\ & =A_p{x}_p+B_p(-K_x{x}_p+K_{r}r)\\ & =(A_p-B_p{K}_x)x_p+B_p{K}_{r}r\\ & =A_r{x}_p+B_{r}r\end{array}$$
因此,我们将参考模型定义为
$${\dot{x}}_r=A_r{x}_r+B_{r}r$$
其中 $A_r,B_r$ 分别是系统矩阵与控制矩阵

现在,我们将基线控制律带入到存在不确定度的开环系统中,可得
$$\begin{array}{rl}{\dot{x}}_p& =A_p{x}_p+B_p\Lambda u+B_p{\delta }_p(x_p)\\ & =A_p{x}_p+B_p\Lambda [u_n+u_a]+B_p{\delta }_p(x_p)\\ & =A_p{x}_p+B_p\Lambda [u_n+u_a]+B_p{\delta }_p(x_p)+B_p{K}_x{x}_p-B_p{K}_x{x}_p+B_p{K}_{r}r-B_p{K}_{r}r\\ & =(A_p-B_p{K}_x)x_p+B_p{K}_{r}r+B_p\Lambda [u_n+u_a+{\Lambda }^{-1}{W}_p^T{\sigma }_p(x_p)-{\Lambda }^{-1}(-K_x{x}_p+K_{r}r)]\\ & =A_r{x}_p+B_{r}r+B_p\Lambda [u_n+u_a+{\Lambda }^{-1}{W}_p^T{\sigma }_p(x_p)-{\Lambda }^{-1}{u}_n]\\ & =A_r{x}_p+B_{r}r+B_p\Lambda [(I-{\Lambda }^{-1})u_n+{\Lambda }^{-1}{W}_p^T{\sigma }_p(x_p)+u_a]\end{array}$$
定义
$$\begin{array}{rl}& W\triangleq [{\Lambda }^{-1}{W}_p^{T}I-{\Lambda }^{-1}{]}^T\\ & \sigma (x_p,u_n)\triangleq [{\sigma }_p(x_p)u_n{]}^T\end{array}$$
最终我们可得
$${\dot{x}}_p=A_r{x}_p+B_{r}r+B_p\Lambda [W^T\sigma (x_p,u_n)+u_a]$$
其中绿色的部分代表理想模型特性,红色部分代表需自适应的项.

显然,我们想要让红色项等于0,因此
$$u_a=-{\hat{W}}^T\sigma$$
其中 $\hat{W}$ 是对未知权重真值$W$的预测

定义
$$\begin{array}{rl}& W=\hat{W}-W\\ & u_a+W^T\sigma =-{\hat{W}}^T\sigma (x_p,u_n)+W^T\sigma =-W\sigma \end{array}$$
最终,我们得到的闭环系统状态方程为
$${\dot{x}}_p=A_r{x}_p+B_{r}r-B_p\Lambda W^T\sigma$$
我们费了很大的精力去构造这个闭环系统状态方程,其目的就是将不确定度从整体系统中分离出来.至此,我们的方程就清晰地分为两个部分,绿色的已知项和红色的未知项.我们也知道了我们想要跟踪什么(绿色的),想要消除什么(红色的).接下来我们要做的就是利用实际信号和参考模型信号之间的残差去设计最终控制律.

误差动力学

定义误差 $e$ 为
$$e\triangleq x_p-x_r$$
因此,误差动力学方程为
$$\begin{array}{rl}\dot{e}& ={\dot{x}}_p-{\dot{x}}_r\\ & =A_r{x}_p+B_{r}r-B_p\Lambda W^T\sigma -A_r{x}_r-B_{r}r\\ & =A_{r}e-B_p\Lambda W^T\sigma \end{array}$$

基于李雅普诺夫稳定判据的自适应律

首先让我们了解一下李雅普诺夫第二稳定判据

考虑一个函数 $V(x):{\Re }_n\to \Re$ 使得
$$\begin{array}{rl}& V(x)⪰0\text{ 只有在 }x=0处等号成立\\ & \dot{V}(x(t))\prec 0\end{array}$$
则 $V(x)$ 成为李雅普诺夫候选函数（Lyapunov candidate），且系統（依李雅普诺夫的观点）为渐进稳定。

基于李雅普诺夫稳定判据和误差动力学模型,我们要设计一个 $W$ 的参数调整机制,以满足下述性质
$$\underset{t\to \infty }{\lim }e=0$$
我们选择李雅普诺夫候选函数为
$$V=e^{T}Pe+{\gamma }^{-1}tr(W{\Lambda }^{\frac{1}{2}}{)}^{T}tr(W{\Lambda }^{\frac{1}{2}})$$
其中 $\gamma$ 是一个正实数学习率,$P$ 是一个正定矩阵
$(P\succ 0)$ 且满足连续李雅普诺夫方程:
$$A_r^{T}P+P{A}_r=-Q$$
其中 $Q$ 是一个正定矩阵 $(Q\succ 0)$$,$$A_r$ 是 Hurwitz $(Re({\lambda }_i)<0)$

我们选择的李雅普诺夫候选函数满足二次型,因此其在除平衡点外都满足 $V\succ 0$.

在继续之前,我们先了解一些矩阵迹的性质,这对于我们后面分析 $\dot{V}(x)$ 很有帮助.
$$\begin{array}{rl}& tr(ab)=tr(ba)=ab\\ & tr(a+b)=tr(a)+tr(b)\end{array}$$
现在,我们开始分析 $\dot{V}$
$$\begin{array}{rl}\dot{V}& =e^{T}P\dot{e}+{\dot{e}}^{T}Pe+2{\gamma }^{-1}tr(\Lambda W^T\dot{\hat{W}})\\ & =e^{T}P(A_{r}e-B_p\Lambda W^T\sigma )+(A_{r}e-B_p\Lambda W^T\sigma {)}^{T}Pe+2{\gamma }^{-1}tr(\Lambda W^T\dot{\hat{W}})\\ & =e^T(P{A}_r+A_r^{T}P)e-2e^{T}P{B}_p\Lambda W^T\sigma +2{\gamma }^{-1}tr(\Lambda W^T\dot{\hat{W}})\\ & =-e^{T}Qe-2tr(\Lambda W^T\sigma e^{T}P{B}_p)+2{\gamma }^{-1}tr(\Lambda W^T\dot{\hat{W}})\\ & =-e^{T}Qe-2{\gamma }^{-1}tr(\gamma \Lambda W^T\sigma e^{T}P{B}_p-\Lambda W^T\dot{\hat{W}})\\ & =-e^{T}Qe-2{\gamma }^{-1}tr(\Lambda W^T(\gamma \sigma e^{T}P{B}_p-\dot{\hat{W}}))\end{array}$$
我们已知 $Q\succ 0$,因此我们将自适应律设计为
$$\dot{\hat{W}}=\gamma \sigma e^{T}P{B}_p$$

由此可得
$$\dot{V}=-e^{T}Qe\prec 0$$
综上所述,这样设计的自适应律满足李雅普诺夫第二稳定判据,可以保证闭环系统的稳定性.而且通过观察可以发现,自适应律的形式为:学习率 $\times$ 状态量 $\times e^TpB_p, $
且自适应律本身为关于 $\hat{W}$ 的微分方程,因此模型参考自适应控制本质上就是非线性积分控制.

根据李雅普诺夫第二判据,可得
$$(e,W)\in L_{\infty }(\text{有界且稳定})$$

进一步的我们可以分析 $V$ 的二阶导数,
$$\begin{array}{rl}\ddot{V}& =-[e^{T}Q\dot{e}+{\dot{e}}^{T}Qe]\\ & =-[e^{T}Q(A_{r}e-B_p\Lambda W^T\sigma (e+x_r,u_n))+(A_{r}e-B_p\Lambda W^T\sigma (e+x_r,u_n){)}^{T}Qe]\end{array}$$
因为 $e,x_r,u_n$ 有界,$A_r$ 是 Hurwitz,$W=\hat{W}-W=\hat{W}-常数$ 有界. 根据 Barbalet 引理,可得
$$\begin{array}{rl}& \because \ddot{V}\text{ 有界}\\ & \therefore \dot{V}=-e^{T}Qe\to 0\text{as}t\to \infty (\underset{t\to \infty }{\lim }e(t)=0)\\ & \text{这个性质被称为 UUB condition(一致最终有界youjieyoujiyoujyouyo) }\to \text{即实际状态量全局地渐进地跟踪参考模型中的理想状态}\\ & \text{除此之外,我们也发现模型参考自适应控制中所有的过程量都是有界的(当然这里的描述并不完全正确,后续我们会展开讲解)}\\ & \end{array}$$
值得注意的一点是上述所有的性质都并不保障 $W\to 0$ as $t\to \infty$ ,这意味着自适应参数 $W$ 并不一定
会收敛于其真值,甚至不一定会收敛于一个常数. 因此,模型参考自适应的方法并不能帮助你去做参数辨识的工作,它只能保证你的实际状态跟随参考模型的
理想状态,并不保证模型中的任一项收敛于真值.实际上,想要收敛于真值,是要满足一定的条件的(Persistent Excitation),但这并不是我们今天想要
讨论的重点.

总结

$$\begin{array}{rl}\text{System Dynamics}& \\ & {\dot{x}}_p=A_p{x}_p+B_p\Lambda u+B_p{\delta }_p(x_p)\\ \text{Total Control Law}& \\ & u=u_n+u_a\\ \text{Nominal Control Law}& \\ & u_n=-K_x{x}_p+K_{r}r\\ & A_r=A_p-B_p{K}_x\\ & B_r=B_p{K}_r\\ \text{Adaptive Control Law}& \\ & u_a=-{\hat{W}}^T\sigma \\ & \dot{\hat{W}}=\gamma \sigma e^{T}P{B}_p=\gamma \sigma (x_p-x_r{)}^{T}P{B}_p\\ & \sigma (x_p,u_n)\triangleq [{\sigma }_p(x_p)u_n{]}^T\\ & {\dot{x}}_r=A_r{x}_r+B_{r}r\\ & A_r^{T}P+P{A}_r=-Q\end{array}$$

以上即是带大家了解何为模型参考自适应控制,使用它是要解决什么问题,它是如何基于李雅普诺夫稳定判据去设计自适应律的,以及它内部参数的一些性质.
后续计划更新:

1.百度apollo自动驾驶中的模型参考自适应控制器是如何设计的

2.基于Projection方法处理模型参考自适应控制运用中遇到的参数飘移(Parameter Drifting)的问题,实现鲁棒的模型参考自适应控制

3.如何借鉴Luenberger观测器的设计模式对误差动力学(即模型跟踪)进行加速,以解决在自适应初期遇到的震荡问题