Apollo模型参考自适应控制MRAC (二)-MRAC例题

下面的例子是我硕士自适应控制课的三个关于Model Reference Adaptive Control的练习, 我硕士导师上的这门课, 我觉得对于理解自适应控制的原理非常有用, 大家可以先看一下下述的几个例子, 理解一下怎么设计MRAC控制器, Apollo的MRAC包括一阶系统和二阶系统, 下面的几个例子都有涉及, 并且有关于一阶和二阶系统微分方程和状态空间方法是怎么转换的
Adaptive Control

Tutorial 1

Adaptive Controller Derivation using Lyapunov Theory
第一个例子是针对一个一阶系统的, 假设一阶系统的参考模型为
$${\dot{x}}_p=a_p{x}_p+b_p\lambda u(1)$$
其中$a_p$, $b_p$是已知变量, $\lambda \ne 0$, 但是我们不知道其符号.
a) 通过Lyapunov函数的方法设计一个自适应控制器, 使得上述一阶系统可以和参考模型的表现一致, 参考模型的方程为:
$${\dot{x}}_m=a_m{x}_m+b_{m}r(2)$$
其中$a_m<0$, $r$是参考输入
b) 扩展之前开发的控制器, 使得可以使用另外两个增益${\gamma }_x$和${\gamma }_r$来调整参数向量${\theta }_x(t)$和${\theta }_r(t)$的收敛率(rate of convergence)

如果实际系统$P$的特性可以完全跟随参考模型系统$S$, 那就意味着当当前状态相同的时候 $x_m=x_p$, 我们希望通过选择${\dot{x}}_m={\dot{x}}_p$, 结合(1)和(2)
我们可以得出
$$\begin{gathered} u=\frac{a_m-a_p}{b_p\lambda }{x}_p+\frac{b_m}{b_p\lambda }r(3) \\ ={\theta }_x^{\ast }{x}_p+{\theta }_r^{\ast }r(4) \end{gathered}$$
当我们对系统$P$使用上述输入$u$的时候,
$$\begin{gathered} {\dot{x}}_p=a_p{x}_p+b_p\lambda (\frac{a_m-a_p}{b_p\lambda }{x}_p+\frac{b_m}{b_p\lambda }r)(5) \\ =a_m{x}_p+b_{m}r(6) \end{gathered}$$
因为$\lambda$未知, 所以${\theta }_x^{\ast }$和${\theta }_r^{\ast }$也是未知的, 这意味着我们需要做初始值估计然后根据自适应变化率去修改, 假设我们使用的自适应输入为
$$u={\hat{\theta }}_x{x}_p+{\hat{\theta }}_{r}r(7)$$
同样的我们将上述输入带入系统的状态方程:
$$\begin{gathered} {\dot{x}}_p=a_p{x}_p+b_p\lambda (({\hat{\theta }}_x-{\theta }_x^{\ast }+{\theta }_x^{\ast })x_p+({\hat{\theta }}_r-{\theta }_r^{\ast }+{\theta }_r^{\ast })r) \\ =a_p{x}_p+b_p\lambda \frac{a_m-a_p}{b_p\lambda }{x}_p+b_p\lambda \frac{b_m}{b_p\lambda }r+b_p({\tilde{\theta }}_x{x}_p+{\tilde{\theta }}_{r}r) \\ =a_m{x}_p+b_{m}r+b_p\lambda ({\tilde{\theta }}_x{x}_p+{\tilde{\theta }}_{r}r) \end{gathered}$$
其中${\tilde{\theta }}_x={\hat{\theta }}_x-{\theta }_r^{\ast }$, ${\tilde{\theta }}_r={\hat{\theta }}_r-{\theta }_r^{\ast }$,
我们定义误差状态量$e=x_p-x_m$, 我们可以得到error dynamics的表达式为
$$\dot{e}=a_{m}e+b_p\lambda ({\tilde{\theta }}_x{x}_p+{\tilde{\theta }}_{r}r)(8)$$
为了建立参数调整机制, 我们需要找到合理的Lyapunov函数
我们首先选取Lyapunov函数为如下形式:
$$V(e,{\tilde{\theta }}_x,{\tilde{\theta }}_r)=e^2+b_p|\lambda |{\tilde{\theta }}_x^2+b_p|\lambda |{\tilde{\theta }}_r^2$$
该函数是正定的, $V(e,{\tilde{\theta }}_x,{\tilde{\theta }}_r)>0$
为了保证该Lyapunov函数是负半定的, 我们首先对上述$V$求导
$$\begin{gathered} \dot{V}(e,{\tilde{\theta }}_x,{\tilde{\theta }}_r)=2e\dot{e}+2b_p|\lambda |(\widetilde{{\theta }_x}{\dot{\tilde{\theta }}}_x+\widetilde{{\theta }_r}{\dot{\tilde{\theta }}}_r) \\ 2a_m{e}^2+2{\tilde{\theta }}_x(b_p\lambda e{x}_p+b_p|\lambda |{\dot{\tilde{\theta }}}_x)+2{\tilde{\theta }}_r(b_p\lambda r+b_p|\lambda |{\dot{\tilde{\theta }}}_r) \\ =2a_m{e}^2 \end{gathered}$$
我们选取如下参数
$$\begin{gathered} {\dot{\tilde{\theta }}}_x=-sgn(\lambda )e{x}_p \\ {\dot{\tilde{\theta }}}_r=-sgn(\lambda )er \end{gathered}$$
此时$\dot{V}$是负半定的, $\dot{V}\le$ 0.

b) 为了能够调整参考变化的变化率, 我们新引入两个变量${\gamma }_x$和${\gamma }_r$, 我们重新定义一个正定的Lyapunov函数为以下形式:
$$V=e^2+\frac{b_p|\lambda |}{{\gamma }_x}{\tilde{\theta }}_x^2+\frac{b_p|\lambda |}{{\gamma }_r}{\tilde{\theta }}_r^2$$
对上述Lyapunov函数求导数
$$\begin{gathered} \dot{V}=2a_m{e}^2+2{\tilde{\theta }}_x(b_p\lambda e{x}_p+\frac{b_p|\lambda |}{{\gamma }_x}{\dot{\tilde{\theta }}}_x)+2{\tilde{\theta }}_r(b_p\lambda er+\frac{b_p|\lambda |}{{\gamma }_r}{\dot{\tilde{\theta }}}_r)= \\ 2a_m{e}^2 \end{gathered}$$
为了使$\dot{V}$负半定, 我们选取下述参数变化率
$$\begin{gathered} {\dot{\tilde{\theta }}}_x=-{\gamma }_{x}sgn(\lambda )e{x}_p \\ {\dot{\tilde{\theta }}}_r=-{\gamma }_{r}sgn(\lambda )er \end{gathered}$$

Tutorial 2

Lyapunov for State Space Systems
考虑非线性系统模型
$$\begin{gathered} {\dot{x}}_1=x_2 \\ {\dot{x}}_2=a{x}_1^2+b{x}_2+u \\ y=x_1 \end{gathered}$$
其中状态变量$x_1,x_2\in R$, 输入$u\in R$, 输出$y\in R$, 参数$a,b\in R$
a) 假设参数$a$和$b$已经, 设计状态反馈控制器$u(x_1,x_2)$使得上述系统的表现由下述参考模型决定:
$$\begin{gathered} y=G_m(s)u_{ref} \\ {G}_m(s)=\frac{{\omega }^2}{s^2+2\zeta \omega s+{\omega }^2} \end{gathered}$$
b) 基于前述问题, 我们设计自适应控制率, $a$和$b$是未知的并且证明系统是稳定的

a) 参考系统是一个标准的二阶系统, 我们定义两个参考模型状态变量$x_{m1}$和$x_{m2}$, 他们满足下述关系s:
$$\begin{gathered} {\dot{x}}_{m1}=x_{m2} \\ {\dot{x}}_{m2}=-{\omega }^2{x}_{m1}-2\zeta \omega x_{m2}+{\omega }^2{u}_{ref} \end{gathered}$$
输入设置为
$$u=-a{x}_1^2-b{x}_2-{\omega }^2{x}_1-2\zeta \omega x_2+{\omega }^2{u}_{ref}$$
当对系统采取上述输入的时候
$$\begin{gathered} \dot{x}=\left[\begin{array}{c}{\dot{x}}_1\\ {\dot{x}}_2\end{array}\right]=\left[\begin{array}{c}{x}_2\\ a{x}_1^2+b{x}_2+(-a{x}_1^2-b{x}_2-{\omega }^2{x}_1-2\zeta \omega x_2+{\omega }^2{u}_{ref})\end{array}\right]= \\ \left[\begin{array}{c}{x}_2\\ -{\omega }^2{x}_1-2\zeta \omega x_2+{\omega }^2{u}_{ref}\end{array}\right] \end{gathered}$$

如果参数a和b未知, 我们需要使用他们的估计数值$\hat{a}$和$\hat{b}$替代, 因此我们的控制器为
$$u=-\hat{a}{x}_1^2-\hat{b}{x}_2-{\omega }^2{x}_1-2\zeta \omega x_2+{\omega }^2{u}_{ref}$$
把(1)带入系统模型
$$\dot{x}=\left[\begin{array}{c}{x}_2\\ \tilde{a}{x}_1^2-\tilde{b}{x}_2-{\omega }^2{x}_1-2\zeta \omega x_2+{\omega }^2{u}_{ref}\end{array}\right]$$
其中$\tilde{a}=a-\hat{a}$, $\tilde{b}=b-\hat{b}$. 定义误差状态变量为$e=[e_1{e}_2{]}^T=x-x_m$,
我们得到如下的误差等式
$$\dot{e}=\left[\begin{array}{c}{e}_2\\ \tilde{a}{x}_1^2+\tilde{b}{x}_2-{\omega }^2{e}_1-2\zeta \omega e_2\end{array}\right]=\left[\begin{array}{cc}0& 1\\ -{\omega }^2& -2\zeta \omega \end{array}\right]e+\left[\begin{array}{c}0\\ \tilde{a}{x}_1^2+\tilde{b}{x}_2\end{array}\right]$$
我们令$A_m=\left[\begin{array}{cc}0& -{\omega }^2\\ 1& -2\zeta \omega \end{array}\right]$, $\theta =\left[\begin{array}{c}\tilde{a}\\ \tilde{b}\end{array}\right]$
我们选取Lyapunov函数$V(e,\tilde{\theta })=e^{T}Pe+{\tilde{\theta }}^T\tilde{\theta }$, 其中$P$是Lyapunov方程正半定的对称矩阵
$$\begin{gathered} \dot{V}(e,\tilde{\theta })=e^{T}P\dot{e}+{\dot{e}}^{T}Pe+2{\tilde{\theta }}^T\dot{\tilde{\theta }} \\ =e^{T}P(\left[\begin{array}{cc}0& 1\\ -{\omega }^2& -2\zeta w\end{array}\right]e+\left[\begin{array}{c}0\\ \tilde{a}{x}_1^2+\tilde{b}{x}_2\end{array}\right]) \\ +(e^T\left[\begin{array}{cc}0& -{\omega }^2\\ 1& -2\zeta \omega \end{array}\right]+\left[\begin{array}{cc}0& \tilde{a}{x}_1^2+\tilde{b}{x}_2\end{array}\right])Pe+2{\tilde{\theta }}^T\dot{\tilde{\theta }} \end{gathered}$$
$$\dot{V}(e,\tilde{\theta })=e^{T}Qe+2{\tilde{\theta }}^T\left[\begin{array}{c}{x}_1^2\\ x_2\end{array}\right]\left[\begin{array}{cc}0& 1\end{array}\right]Pe+2{\tilde{\theta }}^T(-\left[\begin{array}{c}{x}_1^2\\ x_2\end{array}\right]\left[\begin{array}{cc}0& 1\end{array}\right]Pe)=-e^{T}Qe\le 0$$
其中$Q$是正定矩阵, $P{A}_m+A_m^{T}P=-Q$, 参数变化率为
$$\dot{\tilde{\theta }}=-\left[\begin{array}{c}{x}_1^2\\ x_2\end{array}\right]\left[\begin{array}{cc}0& 1\end{array}\right]Pe$$
因为$V(e,\tilde{\theta })>0$, 并且$\dot{V}(e,\tilde{\theta })\le 0$, 系统是稳定的

Tutorial 3

Choice of Adaptive Control Law
系统框图如下所示, 我们需要设计参数$k_1$和$k_2$的变化率使得输出$e_1$最终变化为$0$

a) 根据上述框图画求出参考模型和系统模型的微分方程
b) 把上述微分方程转化为状态空间方程, 求出参考模型系统矩阵$A_m$, Plant的系统矩阵$A_p$和向量$b$
c) 求出矩阵$P$的每个元素, 从而使得$A_m^T+P{A}_m=-Q$, $Q=I$
d) 选择合适的Lyapunov函数和矩阵$P$, 并且求出参数 $k_1$和$k_2$的自适应变化率使得误差$e_1$可以渐渐变为$0$.

上述问题和Apollo中系统的模型是有很大的相似之处的, 参考系统和实际系统都是二阶系统,并且第二个状态是第一个状态的变化率, 这一点和Apollo的MRAC很相像
a) 参考系统的微分方程为
$${\ddot{y}}_m+{\dot{y}}_m+y_m=r$$
实际系统的微分方程为
$${\ddot{y}}_p+(-1-k_1){\dot{y}}_p+(-k_2)y_p=r$$
控制器的微分方程为$u=r+k_1{\dot{y}}_p+k_2{y}_p$
b) 系统的状态方程可以直接从微分方程中得出
参考模型:
$${\dot{x}}_m=A_m{x}_m+br$$
其中模型的状态量:$x_m=\left[\begin{array}{c}{y}_m\\ {\dot{y}}_m\end{array}\right]$, 参考模型的系统矩阵 $A_m=\left[\begin{array}{cc}0& 1\\ -1& -1\end{array}\right]$, $b=\left[\begin{array}{c}0\\ 1\end{array}\right]$
为了获取系统的状态空间表达式, 我们做下述变换:
${\ddot{y}}_p+(-1-k_1){\dot{y}}_p+(-k_2)y_p=r$, $u=r+k_1{\dot{y}}_p+k_2{y}_p$
$$\begin{gathered} {\ddot{y}}_p+(-1-k_1){\dot{y}}_p+(-k_2)y_p=u-k_1{\dot{y}}_p-k_2{y}_p \\ {\ddot{y}}_p=u-k_1{\dot{y}}_p-k_2{y}_p+(1+k_1){\dot{y}}_p+k_2{y}_p \\ {\ddot{y}}_p={\dot{y}}_p+u \end{gathered}$$
系统$P$的状态空间表达式为
$${\dot{x}}_p=A_p{x}_p+bu$$
其中$x_p=\left[\begin{array}{c}{y}_p\\ {\dot{y}}_p\end{array}\right]$, $A_p=\left[\begin{array}{cc}0& 1\\ 0& 1\end{array}\right]$, $b=\left[\begin{array}{c}0\\ 1\end{array}\right]$
控制器的形式为$u=r+{\theta }^T{x}_p$, ${\theta }^T=\left[\begin{array}{cc}{k}_2& k_1\end{array}\right]$
c) 我们需要验证$A_m$是稳定的
$|\lambda I-A_m|={\lambda }^2+\lambda +1=0$
可以推导出${\lambda }_{1,2}=\frac{-1\pm \sqrt{1-4}}{2}$
$Re({\lambda }_{1,2})=-0.5$, 由此我们可以看出矩阵$A_m$是渐进稳定矩阵， 两个实数特征值都位于左半平面
我们选取$Q=I$, 然后去求解下述Lyapunov方程
$$\left[\begin{array}{cc}0& -1\\ 1& -1\end{array}\right]\left[\begin{array}{cc}{p}_1& p_2\\ p_2& p_3\end{array}\right]\left[\begin{array}{cc}{p}_1& p_2\\ p_2& p_3\end{array}\right]\left[\begin{array}{cc}0& 1\\ -1& -1\end{array}\right]=-\left[\begin{array}{cc}1& 0\\ 0& 1\end{array}\right]$$
解上述方程，我们可以得到$p_2=0.5$, $p_3=1$, $p_1=1.5$.
d) 我们将$u$的表达式插入系统方程中, 可以得到
$${\dot{x}}_p=A_p{x}_p+b(r+{\theta }^T{x}_p){\dot{x}}_p=(A_p+b{\theta }^T)x_p+br$$
根据匹配条件(matching condition) $A_m=A_p+b{\theta }^{\ast T}$, 我们可以得出理想参数值
$${\theta }^{\ast T}=[-1-2]$$
因为参数是估计得出的, 假设估计参数为$\hat{\theta }$, 则系统方程为
$$\begin{gathered} {\dot{x}}_p=(A_p+b{\hat{\theta }}^T)x_p+br \\ {\dot{x}}_p=(A_p+b{\theta }^T)x_p+b{\theta }^{\ast T}{x}_p-b{\theta }^{\ast T}{x}_p+br \end{gathered}$$
假设$\tilde{\theta }$为参数误差$\tilde{\theta }=\hat{\theta }-{\theta }^{\ast }=[{\tilde{k}}_2{\tilde{k}}_1{]}^T$
$$\begin{gathered} \dot{e}={\dot{x}}_p-{\dot{x}}_m \\ \dot{e}=A_m{x}_p+b{\tilde{\theta }}^T{x}_p+br-A_m{x}_m-br \\ \dot{e}=A_{m}e+b{\tilde{\theta }}^T{x}_p \end{gathered}$$
我们选取Lyapunov函数: $V(e,\tilde{\theta })=e^{T}Pe+{\tilde{\theta }}^T\tilde{\theta }$
求导数:
$$\dot{V}=e^{T}P(A_{m}e+b{\tilde{\theta }}^T{x}_p)+(x_p^T\tilde{\theta }{b}^T+e^T{A}_m^T)Pe+2{\tilde{\theta }}^T\dot{\tilde{\theta }}$$
$e^{T}Pb{\tilde{\theta }}^T{x}_p=x_p^T\tilde{\theta }{b}^{T}Pe={\tilde{\theta }}^T{x}_p{e}^{T}Pb$, 选取自适应变化率为$\dot{\tilde{\theta }}=-x_p{e}^{T}Pb$, 可以得到：
$$\begin{gathered} \dot{V}=e^T(P{A}_m+A_m^{T}P)e+2{\tilde{\theta }}^T(x_p{e}^{T}Pb+\dot{\tilde{\theta }}) \\ =-e^{T}Qq\le 0 \end{gathered}$$
最终我们的自适应变化率为
$$\dot{\tilde{\theta }}=\left[\begin{array}{c}{\dot{k}}_2\\ {\dot{k}}_1\end{array}\right]=-x_p{e}^{T}Pb=-\left[\begin{array}{c}{y}_p\\ {\dot{y}}_p\end{array}\right]\left[\begin{array}{cc}{e}_1& e_2\end{array}\right]\left[\begin{array}{cc}\frac{3}{2}& \frac{1}{2}\\ \frac{1}{2}& 1\end{array}\right]\left[\begin{array}{c}0\\ 1\end{array}\right]$$
$$\begin{gathered} {\dot{\tilde{k}}}_2=-(\frac{e_1+2e_2}{2})y_p \\ {\dot{\tilde{k}}}_1=-(\frac{e_1+2e_2}{2}){\dot{y}}_p \end{gathered}$$