【控制】自适应控制，模型参考自适应控制，公式推导，有程序有结果图

目录	自适应控制的一点笔记和看法
1	【控制】自适应控制基本概念
2	【控制】自适应控制，对参考信号跟踪，对未知参数估计的小例子，带程序有结果图
3	【控制】自适应控制，模型参考自适应控制，公式推导，有程序有结果图
4	【控制】自适应控制，模型参考自适应控制，参考模型如何求取，有程序有图

在模型参考自适应控制框架中，可以人为构造一个所谓的“参考模型”，用以表征希望的闭环系统控制性能。而模型参考自适应控制则是希望求得一种动态调整的反馈控制律，使得系统的闭环控制性能与参考模型的性能可以保持一致。

控制流程如下：

1. 外部指令 $r$ 同时给到参考模型 reference model 和被控对象 plant 的控制器 controller，此时控制器的参数是一个初始的参数，控制器根据这个初始的参数给出一个控制量 $u$ 输入到被控对象，被控对象作出对应的响应 $x$，同时参考模型也根据指令作响应 $x_r$；
2. 由于被控对象存在不确定性，所以其输出与参考模型存在一定的误差 $e=x-x_r$，这个误差会输入到自适应律中，而自适应律正是根据这个误差来调整控制器参数的；
3. 自适应律更新控制参数之后会传递给控制器，在下一个采样时刻，控制器用新的参数计算和新的状态反馈、指令计算控制量，并输出给被控对象；
4. 整个参数更新过程一直循环，知道被控对象的输出与参考模型一致，即两者误差为零的时候停止更新。

1 问题描述

1.1 被控对象

假设存在一个单输入单输出的标量系统，其模型表达式为式 (1)
$$\dot{x}=ax+bu\text{\hspace{1em}(1)}$$

其中 $x$ 表示系统状态，$u$ 表示系统控制输入，$a,b$ 是常数。

1.2 参考模型

关于参考模型，我们有
$${\dot{x}}_r=a_r{x}_r+b_{r}r\text{\hspace{1em}(2)}$$

其中 $a_r<0$。因为只有 $a_r$ 是负定的，系统存在平衡状态。即当外部指令 $r=0$ 时，参考模型能够自动收敛到平衡状态，这样的参考系统才有构建和研究的必要。

1.3 控制目标

要求设计一个合理的控制信号 $u$，使得系统状态 $x(t)$ 跟踪上参考模型的状态 $x_r(t)$，假设 $x_r(t)$ 是解析并有界的，且其微分 ${\dot{x}}_r(t)$ 也是连续且有界的。这个假设在实际中是可以满足的，因为被跟踪信号 $x_r(t)$ 往往是人为设计的。

2 常规解决过程

首先看下当被控系统的参数 $a$ 和 $b$ 均已知时的常规解决办法。

参数	状态
$a$	系统真实参数，已知
$b$	系统真实参数，已知
$a_r$	参考模型系统参数，已知
$b_r$	参考模型系统参数，已知
$u$	待求

2.1 误差动力学系统

令误差 $e=x-x_r$，则误差的动力学方程为

$$\begin{array}{rl}\dot{e}& =\dot{x}-{\dot{x}}_r\\ & =ax+bu-(a_r{x}_r+b_{r}r)\\ & =ax+bu-a_r{x}_r+a_{r}x-a_{r}x-b_{r}r\\ & =ax+bu+a_{r}e-a_{r}x-b_{r}r\\ & =a_{r}e+(a-a_r)x+bu-b_{r}r\end{array}\text{\hspace{1em}(3)}$$

2.2 控制器设计

根据一个事实，即针对一个满足微分方程 $\dot{e}=a\cdot e$ 的变量 $e$，其中 $a$ 是常数。当 $a<0$ 时，对变量 $e$ 的任意初态，均有 $e\to 0$。

那么回到我们的误差动力学方程式 (3)。若想让误差 $e\to 0$，那么就需要式 (3) 右边的所有项小于0。同时在前文已经令 $a_r<0$，那么等式 (3) 右边除 $a_{r}e$ 的其他项咱们也拼凑成小于0，则满足整体小于0。

拼凑形式可以为 $\dot{e}=a_{r}e-Ke$ 的形式，其中要求 $K>0$，整体还是小于 0 的。

因此，可以设计控制器为
$$\begin{array}{rl}(a-a_r)x+bu-b_{r}r& =-Ke\\ bu& =(a_r-a)x+b_{r}r-Ke\\ u& =\frac{a_r-a}{b}x+\frac{b_r}{b}r-\frac{K}{b}e\end{array}\text{\hspace{1em}(4)}$$

将控制器式 (4) 代入误差动力学方程 (3) 有
$$\begin{array}{rl}\dot{e}& =a_{r}e+(a-a_r)x+bu-b_{r}r\\ & =a_{r}e+(a-a_r)x+b\left(\frac{a_r-a}{b}x+\frac{b_r}{b}r-\frac{K}{b}e\right)-b_{r}r\\ & =a_{r}e-Ke\\ & =(a_r-K)e\end{array}\text{\hspace{1em}(5)}$$

在描述参考模型时，已经分析过参数 $a_r$ 应该小于0。这里我们再要求 $K>0$，那么就能保证 $a_r-K<0$。显而易见的是此时的误差动力学微分方程，无论误差的初态在哪里，最终都能收敛到 0。

2.3 实验验证

clear
clc

%% Initial states
% controlled system
a = 1.6;
b = 0.5;
x(1,1) = rand;
u(1,1) = rand;

% reference model
a_r = -4;
b_r =  4;
x(1,1) = rand;
x_r(1,1) = 0;
r(1,1) = 0;

% adaptive parameters
K = 1;

%% Time parameters
tBegin = 0;
tFinal = 50;
dT = 0.1;
times = (tFinal-tBegin)/dT;
t(1,1) = tBegin;

% Iteration
for k=1:times
    % record time
    t(:,k+1) = t(:,k) + dT;
    
    % update x_r
    if mod(t(:,k),4) >= 2
        % non-control
        r(:,k+1) = 2;  
    else
        r(:,k+1) = 0;
    end
    dot_x_r = a_r * x_r(:,k) + b_r * r(:,k+1);
    x_r(:,k+1) = x_r(:,k) + dT * dot_x_r;
    
    % calculate error
    e = x(:,k) - x_r(:,k);

    % calculate input
    u(:,k+1) = (a_r-a)/b * x(:,k) + b_r/b * r(:,k) - K/b * e;
    
    % update controlled system
    dot_x = a * x(:,k) + b * u(:,k+1);
    x(:,k+1) = x(:,k) + dT * dot_x;
end

%% 
subplot(2,2,1)
plot(t,r, t,x_r, 'linewidth',1.5)
legend('reference signal $r$', 'reference model state $x_r$', 'interpreter','latex')
grid on

subplot(2,2,2)
plot(t,r, t,x_r, t,x, 'linewidth',1.5)
legend('reference signal $r$', 'reference model state $x_r$', 'controlled state $x$', 'interpreter','latex')
grid on

subplot(2,2,3)
plot(t,x_r-x, 'linewidth',1.5)
legend('error $e$', 'interpreter','latex')
grid on

subplot(2,2,4)
plot(t,u, 'linewidth',1.5)
legend('control $u$', 'interpreter','latex')
grid on

3 自适应解决过程，针对参数 $a$ 未知

当然本节的重点不在于常规求解，而是需要自适应求解。也就是当被控系统的参数 $a$ 或 $b$ 未知时，如何使用自适应控制对其进行估计。

参数	状态
$a$	系统真实参数，但未知
$b$	系统真实参数，已知
$a_r$	参考模型系统参数，已知
$b_r$	参考模型系统参数，已知
$\hat{a}$	系统估计参数，待求

3.1 误差动力学系统

令误差 $e=x-x_r$，则误差的动力学方程为

$$\begin{array}{rl}\dot{e}& =\dot{x}-{\dot{x}}_r\\ & =ax+bu-(a_r{x}_r+b_{r}r)\\ & =ax+bu-a_r{x}_r+a_{r}x-a_{r}x-b_{r}r\\ & =ax+bu+a_{r}e-a_{r}x-b_{r}r\\ & =a_{r}e+(a-a_r)x+bu-b_{r}r\end{array}\text{\hspace{1em}(6)}$$

3.2 控制器设计

同样的，可以设计控制器为
$$u=\frac{a_r-\hat{a}}{b}x+\frac{b_r}{b}r-\frac{K}{b}e\text{\hspace{1em}(7)}$$

其中 $\hat{a}$ 表示 $a$ 的估计值。因为我们对被控系统的实际参数并不知道，因此控制器也不可能获取到真实的 $a$，所以需要使用估计值来设计控制器。但是控制器的结构不会发生变换，还可常规的结构相同。

将控制器式 (7) 代入误差动力学方程 (6) 有
$$\begin{array}{rl}\dot{e}& =a_{r}e+(a-a_r)x+bu-b_{r}r\\ & =a_{r}e+(a-a_r)x+b\left(\frac{a_r-\hat{a}}{b}x+\frac{b_r}{b}r-\frac{K}{b}e\right)-b_{r}r\\ & =a_{r}e+(a-a_r)x+(a_r-\hat{a})x+b_{r}r-Ke-b_{r}r\\ & =a_{r}e+(a-\hat{a})x-Ke\end{array}\text{\hspace{1em}(8)}$$

---

3.3 更新估计参数

令真实参数 $a$ 与其估计值 $\hat{a}$ 的误差为
$$\begin{array}{rl}\tilde{a}& =\hat{a}-a\end{array}\text{\hspace{1em}(9)}$$

我们将估计值 $\hat{a}$ 的和其与真实值的误差 $\tilde{a}$ 代入到式 (8) 中，这样做的目的是消除未知的真实参数 $a$，得到一个误差仅和估计值有关的式子。

$$\begin{array}{rl}\dot{e}& =a_{r}e+(a-\hat{a})x-Ke\\ & =a_{r}e-Ke-\tilde{a}x\end{array}\text{\hspace{1em}(10)}$$

---

定义李雅普诺夫函数为
$$\begin{array}{rl}V(e,\tilde{a})& =\frac{1}{2}{e}^2+\frac{1}{2{\eta }_a}{\tilde{a}}^2\end{array}\text{\hspace{1em}(11)}$$

李雅普诺夫函数式 (11) 关于时间求导有
$$\begin{array}{rl}\dot{V}(e,\tilde{a})& =e\dot{e}+\frac{1}{{\eta }_a}\tilde{a}\dot{\tilde{a}}\\ & =e\dot{e}+\frac{1}{{\eta }_a}\tilde{a}(\dot{\hat{a}}-\dot{a})\\ & =e\dot{e}+\frac{1}{{\eta }_a}\tilde{a}\dot{\hat{a}}\\ & =e(a_{r}e-Ke-\tilde{a}x)+\frac{1}{{\eta }_a}\tilde{a}\dot{\hat{a}}\\ & =a_r{e}^2-K{e}^2-\tilde{a}xe+\frac{1}{{\eta }_a}\tilde{a}\dot{\hat{a}}\\ & =(a_r-K)e^2+\tilde{a}(\frac{1}{{\eta }_a}\dot{\hat{a}}-xe)\end{array}\text{\hspace{1em}(12)}$$

在描述参考模型时，已经分析过参数 $a_r$ 应该小于0。这里我们再要求 $K>0$，那么就能保证 $a_r-K<0$。

关于等式 (12) 右侧的第二项，我们就可以设计自适应律为
$$\begin{array}{rl}(\frac{1}{{\eta }_a}\dot{\hat{a}}-xe)& =0\\ \frac{1}{{\eta }_a}\dot{\hat{a}}& =xe\\ \dot{\hat{a}}& ={\eta }_a\cdot x\cdot e\end{array}\text{\hspace{1em}(13)}$$

显而易见的是此时的误差动力学微分方程，无论初态在哪里，最终都能收敛到0。

3.4 实验验证

clear
clc

%% Initial states
% controlled system
a = 1.6;
b = 0.5;
x(1,1) = rand;
u(1,1) = rand;

% reference model
a_r = -4;
b_r =  4;
x(1,1) = rand;
x_r(1,1) = 0;
r(1,1) = 0;

% adaptive parameters
K = 1;
eta_a = 0.4;
hat_a(1,1) = rand;

%% Time parameters
tBegin = 0;
tFinal = 50;
dT = 0.1;
times = (tFinal-tBegin)/dT;
t(1,1) = tBegin;

% Iteration
for k=1:times
    % record time
    t(:,k+1) = t(:,k) + dT;
    
    % update x_r
    if mod(t(:,k),4) >= 2
        % non-control
        r(:,k+1) = 2;  
    else
        r(:,k+1) = 0;
    end
    dot_x_r = a_r * x_r(:,k) + b_r * r(:,k+1);
    x_r(:,k+1) = x_r(:,k) + dT * dot_x_r;
    
    % calculate error
    e = x(:,k) - x_r(:,k);
    
    % calculate adaptive parameters
    dot_hat_a = -eta_a * x(:,k) * e;
    hat_a(:,k+1) = hat_a(:,k) + dT * dot_hat_a;

    % calculate input
    u(:,k+1) = (a_r-hat_a(:,k+1))/b * x(:,k) + b_r/b * r(:,k) - K/b * e;
    
    % update controlled system
    dot_x = hat_a(:,k+1) * x(:,k) + b * u(:,k+1);
    x(:,k+1) = x(:,k) + dT * dot_x;
end

%% 
subplot(2,2,1)
plot(t,r, t,x_r, 'linewidth',1.5)
legend('reference signal $r$', 'reference model state $x_r$', 'interpreter','latex')
grid on

subplot(2,2,2)
plot(t,r, t,x_r, t,x, 'linewidth',1.5)
legend('reference signal $r$', 'reference model state $x_r$', 'controlled state $x$', 'interpreter','latex')
grid on

subplot(2,2,3)
plot(t,u, 'linewidth',1.5)
legend('control $u$', 'interpreter','latex')
grid on

subplot(2,2,4)
plot(t,hat_a, t,a*ones(times+1,1), 'linewidth',1.5)
legend('estimator $\hat{a}$', 'unknown param $a$', 'interpreter','latex')
grid on

4 自适应解决过程，针对参数 $b$ 未知

当然本节的重点不在于常规求解，而是需要自适应求解。也就是当被控系统的参数 $a$ 或 $b$ 未知时，如何使用自适应控制对其进行估计。

参数	状态
$a$	系统真实参数，已知
$b$	系统真实参数，但未知
$a_r$	参考模型系统参数，已知
$b_r$	参考模型系统参数，已知
$\hat{b}$	系统估计参数，待求

4.1 误差动力学系统

令误差 $e=x-x_r$，则误差的动力学方程为

$$\begin{array}{rl}\dot{e}& =a_{r}e+(a-a_r)x+bu-b_{r}r\end{array}\text{\hspace{1em}(14)}$$

4.2 控制器设计

同样的，可以设计控制器为
$$u=\frac{a_r-a}{\hat{b}}x+\frac{b_r}{\hat{b}}r-\frac{K}{\hat{b}}e\text{\hspace{1em}(15)}$$

其中 $\hat{b}$ 表示 $b$ 的估计值。因为我们对被控系统的实际参数并不知道，因此控制器也不可能获取到真实的 $b$，所以需要使用估计值来设计控制器。但是控制器的结构不会发生变换，还可常规的结构相同。

将控制器式 (15) 代入误差动力学方程 (14) 有
$$\begin{array}{rl}\dot{e}& =a_{r}e+(a-a_r)x+bu-b_{r}r\\ & =a_{r}e+(a-a_r)x+b\left(\frac{a_r-a}{\hat{b}}x+\frac{b_r}{\hat{b}}r-\frac{K}{\hat{b}}e\right)-b_{r}r\\ & =a_{r}e+ax-a_{r}x+\frac{b{a}_r}{\hat{b}}x-\frac{ba}{\hat{b}}x+\frac{b{b}_r}{\hat{b}}r-\frac{bK}{\hat{b}}e-b_{r}r\end{array}\text{\hspace{1em}(16)}$$

---

4.3 更新估计参数

令真实参数 $b$ 与其估计值 $\hat{b}$ 的误差为
$$\begin{array}{rl}\tilde{b}& =\hat{b}-b\end{array}\text{\hspace{1em}(17)}$$

我们将估计值 $\hat{b}$ 的和其与真实值的误差 $\tilde{b}$ 代入到式 (16) 中，这样做的目的是消除未知的真实参数 $b$，得到一个误差仅和估计值有关的式子。

$$\begin{array}{rl}\dot{e}& =a_{r}e+ax-a_{r}x+\frac{b{a}_r}{\hat{b}}x-\frac{ba}{\hat{b}}x+\frac{b{b}_r}{\hat{b}}r-\frac{bK}{\hat{b}}e-b_{r}r\\ & =a_{r}e+ax-a_{r}x-b_{r}r+\frac{(\hat{b}-\tilde{b})a_r}{\hat{b}}x-\frac{(\hat{b}-\tilde{b})a}{\hat{b}}x+\frac{(\hat{b}-\tilde{b})b_r}{\hat{b}}r-\frac{(\hat{b}-\tilde{b})K}{\hat{b}}e\\ & =a_{r}e+ax-a_{r}x-b_{r}r+a_{r}x-\frac{\tilde{b}{a}_r}{\hat{b}}x-ax+\frac{\tilde{b}a}{\hat{b}}x+b_{r}r-\frac{\tilde{b}{b}_r}{\hat{b}}r-Ke+\frac{\tilde{b}K}{\hat{b}}e\\ & =a_{r}e-Ke-\frac{\tilde{b}{a}_r}{\hat{b}}x+\frac{\tilde{b}a}{\hat{b}}x-\frac{\tilde{b}{b}_r}{\hat{b}}r+\frac{\tilde{b}K}{\hat{b}}e\\ & =a_{r}e-Ke+\frac{-\tilde{b}{a}_{r}x+\tilde{b}ax-\tilde{b}{b}_{r}r+\tilde{b}Ke}{\hat{b}}\end{array}\text{\hspace{1em}(18)}$$

---

定义李雅普诺夫函数为
$$\begin{array}{rl}V(e,\tilde{b})& =\frac{1}{2}{e}^2+\frac{1}{2{\eta }_b}{\tilde{b}}^2\end{array}\text{\hspace{1em}(19)}$$

李雅普诺夫函数式 (19) 关于时间求导有
$$\begin{array}{rl}\dot{V}(e,\tilde{b})& =e\dot{e}+\frac{1}{{\eta }_b}\tilde{b}\dot{\tilde{b}}\\ & =e\dot{e}+\frac{1}{{\eta }_b}\tilde{b}(\dot{\hat{b}}-\dot{b})\\ & =e\dot{e}+\frac{1}{{\eta }_b}\tilde{b}\dot{\hat{b}}\\ & =e\left(a_{r}e-Ke+\frac{-\tilde{b}{a}_{r}x+\tilde{b}ax-\tilde{b}{b}_{r}r+\tilde{b}Ke}{\hat{b}}\right)+\frac{1}{{\eta }_b}\tilde{b}\dot{\hat{b}}\\ & =a_r{e}^2-K{e}^2+\frac{-\tilde{b}{a}_{r}xe+\tilde{b}axe-\tilde{b}{b}_{r}re+\tilde{b}K{e}^2}{\hat{b}}+\frac{1}{{\eta }_b}\tilde{b}\dot{\hat{b}}\\ & =a_r{e}^2-K{e}^2+\tilde{b}\left(\frac{-a_{r}xe+axe-b_{r}re+K{e}^2}{\hat{b}}+\frac{1}{{\eta }_b}\dot{\hat{b}}\right)\end{array}\text{\hspace{1em}(20)}$$

在描述参考模型时，已经分析过参数 $a_r$ 应该小于0。这里我们再要求 $K>0$，那么就能保证 $a_r-K<0$。

关于等式 (12) 右侧的第二项，我们就可以设计自适应律为
$$\begin{array}{rl}\frac{-a_{r}xe+axe-b_{r}re+K{e}^2}{\hat{b}}+\frac{1}{{\eta }_b}\dot{\hat{b}}& =0\\ \frac{1}{{\eta }_b}\dot{\hat{b}}& =\frac{a_{r}xe-axe+b_{r}re-K{e}^2}{\hat{b}}\\ \dot{\hat{b}}& ={\eta }_b\frac{a_{r}xe-axe+b_{r}re-K{e}^2}{\hat{b}}\end{array}\text{\hspace{1em}(13)}$$

显而易见的是此时的误差动力学微分方程，无论初态在哪里，最终都能收敛到0。

4.4 实验验证

clear
clc

%% Initial states
% controlled system
a = 1.6;
b = 0.5;
x(1,1) = rand;
u(1,1) = rand;

% reference model
a_r = -4;
b_r =  4;
x(1,1) = rand;
x_r(1,1) = 0;
r(1,1) = 0;

% adaptive parameters
K = 1;
eta_b = 1;
hat_b(1,1) = rand;

%% Time parameters
tBegin = 0;
tFinal = 50;
dT = 0.1;
times = (tFinal-tBegin)/dT;
t(1,1) = tBegin;

% Iteration
for k=1:times
    % record time
    t(:,k+1) = t(:,k) + dT;
    
    % update x_r
    if mod(t(:,k),4) >= 2
        % non-control
        r(:,k+1) = 2;  
    else
        r(:,k+1) = 0;
    end
    dot_x_r = a_r * x_r(:,k) + b_r * r(:,k+1);
    x_r(:,k+1) = x_r(:,k) + dT * dot_x_r;
    
    % calculate error
    e = x(:,k) - x_r(:,k);
    
    % calculate adaptive parameters
    dot_hat_b = eta_b * (a_r*x(:,k)*e - a*x(:,k)*e + b_r*r(:,k)*e - K*e^2) / hat_b(:,k);
    hat_b(:,k+1) = hat_b(:,k) + dT * dot_hat_b;

    % calculate input
    u(:,k+1) = (a_r-a)/hat_b(:,k+1) * x(:,k) + b_r/hat_b(:,k+1) * r(:,k) - K/hat_b(:,k+1) * e;
    
    % update controlled system
    dot_x = a * x(:,k) + hat_b(:,k+1) * u(:,k+1);
    x(:,k+1) = x(:,k) + dT * dot_x;
end

%% 
subplot(2,2,1)
plot(t,r, t,x_r, 'linewidth',1.5)
legend('reference signal $r$', 'reference model state $x_r$', 'interpreter','latex')
grid on

subplot(2,2,2)
plot(t,r, t,x_r, t,x, 'linewidth',1.5)
legend('reference signal $r$', 'reference model state $x_r$', 'controlled state $x$', 'interpreter','latex')
grid on

subplot(2,2,3)
plot(t,u, 'linewidth',1.5)
legend('control $u$', 'interpreter','latex')
grid on

subplot(2,2,4)
plot(t,hat_b, t,b*ones(times+1,1), 'linewidth',1.5)
legend('estimator $\hat{b}$', 'unknown param $b$', 'interpreter','latex')
grid on

5 总结

被控系统	$\dot{x}=ax+bu$
参考模型	${\dot{x}}_r=a_r{x}_r+b_{r}r$
1. 参数 $a,b$ 均已知 --> 控制器	$u=\frac{a_r-a}{b}x+\frac{b_r}{b}r-\frac{K}{b}e$
2.1. 参数 $a$ 未知，$b$ 已知 --> 控制器	$u=\frac{a_r-\hat{a}}{b}x+\frac{b_r}{b}r-\frac{K}{b}e$
2.2. 参数 $a$ 未知，$b$ 已知 --> 参数 $\hat{a}$ 自适应更新律	$\dot{\hat{a}}={\eta }_a\cdot x\cdot e$
3.1. 参数 $a$ 已知，$b$ 未知 --> 控制器	$u=\frac{a_r-a}{\hat{b}}x+\frac{b_r}{\hat{b}}r-\frac{K}{\hat{b}}e$
3.2. 参数 $a$ 已知，$b$ 未知 --> 参数 $\hat{b}$ 自适应更新律	$\dot{\hat{b}}={\eta }_b\frac{a_{r}xe-axe+b_{r}re-K{e}^2}{\hat{b}}$

Ref.