【最优控制笔记】——3动态规划之连续系统2

动态规划

6.3连续系统的动态规划

说明：

本节主要阐述连续系统动态规划的第二种求解思路，其系统及性能指标形式为：

目的是：找到区间$[t_0,T]$上的连续控制量$u^{\ast }(t)$使性能指标$J$最小，且使状态$x(t_0)$到达满足下式的终端状态：

6.3.2 动态规划与连续控制

思路：

对于系统的性能指标(6.3-24)而言，利用$\Delta t$，其可以改写成：

进一步写成：

根据最优性原理，$J^{\ast }(x,t)$一定需要$J(x,t)$从$t+\Delta t$到$T$都最优。

如果$[t+\Delta t,T]$上的$x+\Delta x$和$J^{\ast }(x+\Delta x,t+\Delta t)$我们都已知，则只需要选择控制量$u(t)$，因此最优控制下的性能指标可写作：

与离散系统的形式类似，其是连续系统的最优性原理。

解决：

上式求解困难，因此还需要进一步对式(6.3-29)进行操作——进行$(x,t)$处的一阶泰勒展开：

可得：

（这里，其实可以发现连续系统的Bellman原理其实只是一种一阶泰勒展开形式）

由(6.3-23)可得：

将偏微分简写成$J_t^{\ast }$和$J_x^{\ast }$的形式，有：

进一步可整理得：

由于$\Delta t$趋近于0，故两边可消，有：

这个偏微分方程被称为Hamilton-Jacobi-Bellman (HJB) equation。

结合Hamilton函数可以发现，其只是将$\lambda$换成了$\frac{\partial J^{\ast }}{\partial x}$，如果假设Hamilton函数为：

则HJB方程又可写作：

从时间$T$向后推，其可以解决。其种，边界条件可由式(6.3-24)

在$t_0=T$求得：

数学表达：

6.3.3 例1

解：

Hamliton函数为：

$H(x(t),u(t),V_x)=\frac{1}{4}{u}^2(t)+V_x\ast (x(t)+u(t))$

HJB方程为：

$-V_t=min[H(x(t),u(t),V_x^T(x(t),t),t)]$

则有：

$\frac{\partial H}{\partial u}=\frac{1}{2}u(t)+V_x(x(t),t)$

$\frac{{\partial }^{2}H}{\partial u^2}=\frac{1}{2}$

因此有最优控制量：

$u^{\ast }(t)=-2V_x(x(t),t)$

这里HJB方程可以写作：

$-V_t=\frac{1}{4}(-2V_x{)}^2+V_x(x(t)-2V_x)$

整理得：

$0=V_t+V_{x}x(t)-V_x^2$

可以采用假定二次型的方法求解$V$，进而求出$u^{\ast }(t)$，设：

$V(x(t),t)=\frac{1}{2}K(t)x^2(t)$

$V_x=K(t)x(t)$

$V_t=\frac{1}{2}\dot{K}(t)x^2(t)$

因此代入上式有：

$0=\frac{1}{2}\dot{K}(t)-K^2(t)+K(t)$

由边界条件：

$V(x(t_f),t_f)=\frac{1}{4}{x}^2(t_f)=\frac{1}{2}K(t)x^2(t_f)$

得：

$K(t_f)=\frac{1}{2}$

因此，微分方程可利用分离变量法求解：

$K(t)=\frac{1}{1+e^{2(t_f-t)}}$

6.3.4 例2

离控制目标越远，控制量变化uk越小；反之，变化越剧烈。

例题最小燃料问题的性能指标设置有误，不开车最好，J=0，所以改进加入终端约束

6.3.5 例3（值函数不可微的情况）

$Pag{e}_{40}-Pag{e}_{44}$

6.3.6 整体说明：