自适应神经网络控制的应用举例

自适应神经网络控制的应用举例

前言

在前文中：具有不确定参数系统的自适应跟踪控制设计_介绍了自适应控制的基本原理和一些设计的实例。前文中的模型都是类似于公式(1)的模型。
$$\dot{x}=ax+bu(1)$$
因而自适应控制中设计参数的更新率才能使得系统能够实现跟踪控制或者镇定控制。在本文中我们将进一步地利用神经网络实现自适应控制，分析和上一篇文章中有什么不同之处。

RBF神经网络

神经网络对我们来说已经不是陌生的词汇了，你可以在很多教科书、网络上看到它的身影。RBF神经网络就是其中的一种，它采用高斯函数作为激活函数，已经有研究证明一个RBF神经网络可以任意逼近任何连续函数，因此可以用RBF神经网络来逼近控制系统中的非线性项，从而帮助我们设计控制器。

神经网络采用高斯函数有着这样的好处，当输入的值离函数中心点距离近时，其输出的值越大，如下图所示，曲线经过的点被激活，而远离曲线的点输出数值非常小，基本上不会被激活。

1. 简单非线性系统的自适应神经网络控制

问题描述

针对如下所示的简单非线性系统
$$\begin{array}{rl}\dot{x}& =f(x)+u\\ y& =x\end{array}$$
其中$f(x)$是非线性系统动力学，平滑但未知。跟踪目标是跟踪如下参考模型生成的周期性参考轨迹$x_d$

参考模型的状态空间方程如下：
$$\begin{array}{rl}{\dot{x}}_d& =f_d(x_d)\\ y_d& =x_d\end{array}$$
其中$f_d(x_d)$是已知的平滑非线性函数，控制目标是$y\to y_d$

控制器设计

尝试设计

按照上一篇文章的控制器设计流程来尝试设计控制器。

1. 定义误差变量:$e=y-y_d$

2. 求误差变量的的动态方程
   $$\begin{array}{rl}\dot{e}& =\dot{y}-{\dot{y}}_d\\ & =f(x)+u-f_d(x_d)\end{array}(2)$$

3. 设计李雅普诺夫函数为$V_1=\frac{1}{2}{e}^2$

   对$V_1$求导之后，易知控制器设计可以选择为：
   $$u=-ke-f(x)+f_d(x_d)$$

这是在精确模型下，即$f(x)$已知下的控制器设计，然而由问题描述中我们知道，$f(x)$不仅未知，且是平滑的非线性的。

那么显然如果我们能对$f(x)$进行估计，或许就能设计出控制器了。而针对f(x)非线性平滑的特点，结合RBF神经网络可以逼近任意连续函数的特点，可以采用RBF神经网络来估计f(x)。

再次设计

这次设计我们采用RBF神经网络估计$f(x)$。
$$f(x)=W^{\ast T}S(x)+ϵ(x)$$
其中$W^{\ast }$是理想的连接权值，$S(x)$是径向基函数，$ϵ(x)$是逼近误差。

显然理想的连接权值我们也是无法直接获取的，因此也需要估计。不过这里对$W^{\ast }$的估计就类似于上篇文章的参数估计了。

设计$\hat{W}$为$W^{\ast }$的估计值，其误差表示为$\tilde{W}=\hat{W}-W^{\ast }$

那么接下来我们就能来继续设计控制器了。

定义误差变量和误差变量的动态方程如尝试设计小节中的一样。即：
$$\begin{array}{rl}\dot{e}& =\dot{y}-{\dot{y}}_d\\ & =f(x)+u-f_d(x_d)\\ & =W^{\ast T}S(x)+ϵ(x)+u-f_d(x_d)\end{array}$$
继续设计。

3. 设计候选李雅普诺夫函数为$V_1=\frac{1}{2}{e}^2$，并对$V_1$进行求导。
   $$\begin{array}{rl}{\dot{V}}_1& =e\dot{e}\\ & =e(W^{\ast T}S(x)+ϵ(x)+u-f_d(x_d))\end{array}$$
   欲使${\dot{V}}_1=-k{e}^2$，则可以设计出控制器$u$

4. 设计控制器
   $$u=-ke-{\hat{w}}^{T}S(x)+f_d(x_d)(3)$$
   将其带入到${\dot{V}}_1$中
   $$\begin{array}{rl}{\dot{V}}_1& =e\dot{e}\\ & =e(W^{\ast T}S(x)+ϵ(x)+u-f_d(x_d))\\ & =e(W^{\ast T}S(x)+ϵ(x)-ke-{\hat{w}}^{T}S(x)+f_d(x_d)-f_d(x_d))\\ & =e(-ke-{\tilde{W}}^{T}S(x)+ϵ(x))\\ & =-k{e}^2-{\tilde{W}}^{T}S(x)e+eϵ(x)\end{array}$$

5. 设计更新率，由于引入了新的误差变量$\tilde{W}$，考虑新的候选李雅普诺夫函数$V=V1+\frac{1}{2}{\Gamma }^{-1}{\tilde{W}}^T\tilde{W}$

   这里的${\Gamma }^{-1}$是对角矩阵，类似于上一篇文中的$\gamma$，是用来调节更新率的调节参数。

   对其求导：
   $$\begin{array}{rl}\dot{V}& ={\dot{V}}_1+{\Gamma }^{-1}{\tilde{W}}^T\dot{\hat{W}}\\ & =-k{e}^2-{\tilde{W}}^{T}S(x)e+eϵ(x)+{\Gamma }^{-1}{\tilde{W}}^T\dot{\hat{W}}\\ & =-k{e}^2+{\tilde{W}}^T(-S(x)e+{\Gamma }^{-1}\dot{\hat{W}})+eϵ(x)\end{array}(4)$$
   设计参数更新率为：
   $$\dot{\hat{W}}=\Gamma S(x)e(5)$$
   （这里的参数更新率(5)的鲁棒性不好，可以增加$\sigma$-修正项来改善）

设计的参数更新率使得${\dot{V}}_1$变为：
$$\dot{V}=-k{e}^2+eϵ(x)$$
最后这一项好讨厌，使得我们得不到理想的负半定形式。可以采取放缩的形式来改善，这里我们用到三角不等式$ab\le a^2+b^2$,则
$$\begin{array}{rl}\dot{V}& =-k{e}^2+eϵ(x)\\ & \le -k{e}^2+\frac{1}{2}k{e}^2+\frac{1}{2k}{ϵ}^2(x)\\ & <-\frac{1}{2}k{e}^2+\frac{1}{2k}{ϵ}^{\ast 2}\end{array}$$
其中${ϵ}^{\ast }$是一个非常小的值，这是李雅普诺夫意义下的稳定，存在收敛域。并且放缩的方法不同，得到的收敛域也不同。至此，公式(3)和公式(5)共同构成了系统的控制器和参数更新率。

（其实这里还有一点不明白）

小结

在这一个问题中，其实设计过程与前一篇文章的自适应控制差不多。只不过是多了神经网络的应用过程，以至于后面出现无法消去的逼近误差，需要放缩。

2. 系统中含有未知b的非线性系统的自适应神经网络控制

问题描述

针对如下所示的简单非线性系统
$$\begin{array}{rl}\dot{x}& =f(x)+bu\\ y& =x\end{array}$$
其中$f(x)$是非线性系统动力学，平滑但未知，b是一个未知常量。跟踪目标是跟踪如下参考模型生成的周期性参考轨迹$x_d$

参考模型的状态空间方程如下：
$$\begin{array}{rl}{\dot{x}}_d& =f_d(x_d)\\ y_d& =x_d\end{array}$$
其中$f_d(x_d)$是已知的平滑非线性函数，控制目标是$y\to y_d$。

类似于前一篇文章自适应控制中的分析，未知常量$b$的出现会导致系统设计控制器时出现未知量$b$的情况，处理方法主要有两种。

控制器设计

精确模型下的设计

为了说明$b$的未知给控制器设计带来的影响，我们讨论在精确模型下即$b$已知、$f(x)$的情况下的控制器设计的情况。

1. 定义误差变量:$e=y-y_d$

2. 求误差变量的的动态方程
   $$\begin{array}{rl}\dot{e}& =\dot{y}-{\dot{y}}_d\\ & =f(x)+bu-f_d(x_d)\end{array}$$

3. 设计李雅普诺夫函数为$V_1=\frac{1}{2}{e}^2$

   对$V_1$求导之后，易知控制器设计可以选择为：
   $$u=\frac{-ke-f(x)+f_d(x_d)}{b}$$

这是在精确模型下，即$f(x)、b$已知下的控制器设计，然而由第一部分我们已经知道$f(x)$的处理方法，但是$b$的未知使得设计控制器变得困难，这个情况下估计$b$也是不好估计的。

总的来说有两种方案来解决这个问题。

设计方案1

1. 定义误差变量:$e=y-y_d$

2. 求误差变量的的动态方程
   $$\begin{array}{rl}\dot{e}& =\dot{y}-{\dot{y}}_d\\ & =f(x)+bu-f_d(x_d)\\ & =b(\frac{f(x)}{b}+u-\frac{f_d(x_d)}{b})\end{array}(6)$$
   从公式(6)中可以得知，$\frac{f(x)}{b}、-\frac{f_d(x_d)}{b}$这两项都是未知项，可以放在一个神经网络中进行估计。再通过对李雅普诺夫函数的选取来消除$b$的影响，从而转换成和第一部分中的设计类似的情况。

3. 设计李雅普诺夫函数为$V_1=\frac{1}{2|b|}{e}^2$
   $$\begin{array}{rl}{\dot{V}}_1& =\frac{1}{|b|}e\dot{e}\\ & =\frac{1}{|b|}e(b(\frac{f(x)}{b}+u-\frac{f_d(x_d)}{b}))\\ & =sgn(b)e(\frac{f(x)-f_d(x_d)}{b}+u)\end{array}$$
   其中的$\frac{f(x)-f_d(x_d)}{b}$用神经网络来估计，于是我们就可以类似于“ 1.简单非线性系统的自适应神经网络控制”这一部分的设计继续进行了，在此就不赘述了。

   值得注意的是，这个方案中的神经网络输入是几维的那？显然是两维的，包含$x$和$\frac{f_d(x_d)}{b}$。在神经网络布点的时候，假如一个维度上均匀布8个点，那么两维就是64个点。

   

   64个点的神经网络运算量我们还可以接受，但是如果再增加一个维度，那么再仅仅只布了8个点的情况下，一共就有64*8个点，运算量是呈指数爆炸式增长的。因此我们希望尽可能地降低神经网络中的输入量个数。那么在这个系统下有没有可能降低输入量的个数那？当然有。

设计方案2

仍然按照设计控制器的常规步骤来设计，但是按照上一篇文章自适应控制中的，我们先对状态方程稍稍做一点变化。
$$\begin{array}{rl}\dot{x}& =f(x)+bu\\ & =b(\frac{f(x)}{b}x+u)\end{array}$$

1. 定义误差变量:$e=y-y_d$

2. 求误差变量的的动态方程
   $$\begin{array}{rl}\dot{e}& =\dot{y}-{\dot{y}}_d\\ & =f(x)+bu-f_d(x_d)\\ & =b(\frac{f(x)}{b}+u)-f_d(x_d)\\ & =b(\frac{f(x)}{b}+u-\frac{1}{b}{f}_d(x_d))\end{array}$$
   可以用RBF神经网络来估计$\frac{f(x)}{b}$，即：
   $$\begin{array}{r}\frac{f(x)}{b}=W^{\ast T}S(x)+ϵ(x)\end{array}$$
   其中的$b$可以在之后利用李雅普诺夫函数和自适应控制来处理和估计。
   $$\begin{array}{rl}\dot{e}& =b(\frac{f(x)}{b}+u-\frac{1}{b}{f}_d(x_d))\\ & =b(W^{\ast T}S(x)+ϵ(x)+u-\frac{1}{b}{f}_d(x_d))\end{array}$$

3. 设计李雅普诺夫函数为$V_1=\frac{1}{2|b|}{e}^2$
   $$\begin{array}{rl}{\dot{V}}_1& =\frac{1}{|b|}e\dot{e}\\ & =\frac{1}{|b|}eb(W^{\ast T}S(x)+ϵ(x)+u-\frac{1}{b}{f}_d(x_d))\\ & \\ & =sgn(b)e(W^{\ast T}S(x)+ϵ(x)+u-\frac{1}{b}{f}_d(x_d))\end{array}(7)$$

   显然需要新的估计量来估计$\frac{1}{b}$,令$\theta =\frac{1}{b}$，对它的估计值为$\hat{\theta }$,估计误差为：$\tilde{\theta }=\hat{\theta }-\theta$

4. 设计控制器

   同时根据公式(7)，为了使系统的李雅普诺夫函数为负半定的形式，可以提前给出控制器$u$的形式为：
   $$u=-ke-{\hat{W}}^{T}S(x)+\hat{\theta }{f}_d(x_d)(8)$$
   其中$k=sgn(b)k_1,k_1>0$,这是为了消除符号函数$sgn(b)$对李雅普诺夫函数的符号影响。

5. 设计更新率

   由于系统引入了新的误差量，考虑系统的新的候选李雅普诺夫函数为：
   $$V=V_1+\frac{1}{2}{\Gamma }^{-1}{\tilde{W}}^T\tilde{W}+\frac{1}{2\gamma }{\tilde{\theta }}^2$$
   对上述李雅普诺夫函数求导，并将公式(8)代入到其中，得：
   $$\begin{array}{rl}\dot{V}& ={\dot{V}}_1+{\Gamma }^{-1}{\tilde{W}}^T\dot{\hat{W}}+\frac{1}{\gamma }\tilde{\theta }\dot{\hat{\theta }}\\ & =sgn(b)e(W^{\ast T}S(x)+ϵ(x)-ke-{\hat{W}}^{T}S(x)+\hat{\theta }{f}_d(x_d)-\theta f_d(x_d))\\ & =-sgn(b)\ast sgn(b)k_1{e}^2-sgn(b){\tilde{W}}^{T}S(x)e+sgn(b)eϵ(x)+sgn(b)e\tilde{\theta }{f}_d(x_d)+{\Gamma }^{-1}{\tilde{W}}^T\dot{\hat{W}}+\frac{1}{\gamma }\tilde{\theta }\dot{\hat{\theta }}\\ & =-k_1{e}^2+{\tilde{W}}^T(-sgn(b)S(x)e+{\Gamma }^{-1}\dot{\hat{W}})+sgn(b)eϵ(x)+\tilde{\theta }(sgn(b)e{f}_d(x_d)+\frac{1}{\gamma }\dot{\hat{\theta }})\end{array}(9)$$
   则根据公式(9)，可以设计出参数更新率
   $$\begin{array}{rl}\dot{\hat{W}}& =sgn(b)\Gamma S(x)e(10)\\ \dot{\hat{\theta }}& =-sgn(b)\gamma f_d(x_d)e(11)\end{array}$$
   （这里的参数更新率(10)的鲁棒性不好，如前面所述，也可以增加$\sigma$-修正项来改善，下一篇文章再写吧）

   此时
   $$\begin{array}{rl}\dot{V}& =-k_1{e}^2+sgn(b)eϵ(x)\end{array}$$
   经过放缩之后，可以证明其是李雅普诺夫意义下的稳定。公式(8)和公式(10)(11)共同构成系统的控制器和参数的更新率。

小结

跟第一个设计方案相比，这个方案增加了一个需要估计的参数，但是却大大减小了神经网络的计算量，如果原来需要布64个点的话，现在仅仅需要布8个点了。

总结

本文主要针对简单的非线性系统进行了自适应神经网络控制的设计，是在上一篇自适应控制的基础上进一步的拓展。