最优控制理论 一、变分法和泛函极值问题

变分法是最优控制问题的三大基石之一，下面讨论一些变分法的常用理论。

1. 性能指标泛函

无约束最优控制问题，若固定起止时间，两端状态固定，即
$$x(0)=x_0,x(t_f)=x_f,t\in [0,t_f]$$
需要求出最优路径path（轨迹trajectory、最优实现）：$x^{\ast }(t)$。而这个最优性的定义,是按照泛函型性能指标来表达的
$$\underset{x(t)}{\min }J(x,t)=\varphi (x(t_f),t_f)+{\int }_0^{t_f}L(x,\dot{x},t)\text{d}t\text{\hspace{1em}(1)}$$
由赋范线性空间$\mathrm{X}$的某个子集映射到实数域$\mathbb{R}$的映射称为泛函，即$T:\mathrm{X}\mapsto \mathbb{R}$。在这里指的是从路径$x(t)\mapsto J\in \mathbb{R}$的一个映射，即函数的函数。公式$(1)$只有第一部分性能指标的最优控制问题称为Meyer型问题，仅有第二部分的称为Lagrange型问题，两种相加的称为Bolza问题。Bolza型问题可以转化成Lagrange型问题
$$J(x,t)={\int }_0^{t_f}\frac{\text{d}\varphi (x,t)}{\text{d}t}+L(x,\dot{x},t)\text{d}t+\varphi (x(0),0)$$
所以一般我们都是从Lagrange型问题开始研究的。

2. 泛函极值必要条件

对于上述问题，沿着最优路径$x^{\ast }(t)$对性能指标做变分$\delta J(x^{\ast })$，最优路径的必要条件是$\delta J(x^{\ast })=0$.对Lagrange型性能指标展开，
$$\delta J(\delta x^{\ast })={\int }_0^{t_f}(\frac{\partial L}{\partial x}\delta x+\frac{\partial L}{\partial \dot{x}}\delta \dot{x})\text{d}t=0$$
并对第二项做分部积分 $uv=\int \text{d}(uv)=u\int \text{d}v+v\int \text{d}u$,
$\int L_{\dot{x}}\delta \dot{x}\text{d}t=\int L_{\dot{x}}\delta \frac{\text{d}x}{\text{d}t}\text{d}t=\int L_{\dot{x}}\delta \text{d}x=L_{\dot{x}}\delta x-\int \delta x\text{d}{L}_{\dot{x}}=L_{\dot{x}}\delta x-\int \delta x\frac{\text{d}{L}_{\dot{x}}}{\text{d}t}\text{d}t$
，得到
$${L_{\dot{x}}\delta x|}_0^{t_f}+{\int }_0^{t_f}(L_x-\frac{\text{d}}{\text{d}t}{L}_{\dot{x}}\text{)}\delta xdt=0\text{\hspace{1em}(2)}$$
上式表示
$$\begin{array}{r}{L}_{\dot{x}}(x(t_f),\dot{x}(t_f),t_f)\cdot \delta x(t_f)-L_{\dot{x}}(x_0,{\dot{x}}_0,0)\cdot \delta x_0=0\\ [L_x(x(t),\dot{x}(t),t)-\frac{\text{d}}{\text{d}t}{L}_{\dot{x}}(x(t),\dot{x}(t),t)\text{]}\cdot \delta x=0\end{array}$$
由于变分$\delta x(t)$是任意的，且初始时刻状态固定，所以$\delta x(t_0)=0$.于是得到泛函极值的必要条件，即大名鼎鼎的Euler-Lagrange方程
$$L_x-\frac{\text{d}}{\text{d}t}{L}_{\dot{x}}=0\text{\hspace{1em}(3)}$$这个式子的完整形式是，是和分析力学中的形式完全一样的，其中$x$为自变量，$L(t,x,\dot{x})$为Lagrange函数.
$$\frac{\partial L}{\partial x}-\frac{\text{d}}{\text{d}t}\frac{\partial L}{\partial \dot{x}}=0$$另外，泛函极值的必要条件还包括横截条件。
$$L_{\dot{x}}(x_f)=0$$

若$t_f$固定、终端状态$x(t_f)$自由，即$x_f\in X_f\ne \varnothing$，则上式需要；否则不需要这个条件就可以求出最优路径$x(t)$

3. 各种情况下的求解

3.1 $t_f$固定，$x_f$固定

边界条件$x(0),t_f,x(t_f)$都知道，极值必要条件为公式$(3)$，维数n*1。n个未知变量，两端状态已知，则构成两点边值问题。这个问题最典型的例子是百度百科-最速下降曲线问题，该问题为约翰伯努利提出，被欧拉解决。
例1.1 求无约束最优化问题的最优路径
$$\begin{gathered} J(x)={\int }_0^{\pi /2}\left[{\dot{x}}^2(t)-x^2(t)\right]dt \\ x(0)=0,x(\pi /2)=1 \end{gathered}$$

首先列出Euler方程
$$\begin{array}{rl}0& =\frac{\partial L}{\partial x}\left(x^{\ast }(t),{\dot{x}}^{\ast }(t),t\right)-\frac{d}{dt}\left[\frac{\partial L}{\partial \dot{x}}\left(x^{\ast }(t),{\dot{x}}^{\ast }(t),t\right)\right]\\ & =-2x^{\ast }(t)-\frac{d}{dt}\left[2{\dot{x}}^{\ast }(t)\right]\end{array}$$

即$$x(t)+x^{\prime \prime }(t)=0$$

设$x(t)=a{e}^{ı(t+\varphi )},({ı}^2=-1)$，考虑边界条件即可得到$a=1,\varphi =-\pi /2;\&a=-1,\varphi =\pi /2$，在实数域的解为$x(t)=sin(t)$

3.2 $t_f$固定，$x_f$自由

必要条件为Euler方程——公式$(3)$，边界条件多了
$$L_{\dot{x}}(x_f)=0$$

3.3 $t_f$自由，$x_f$自由，两者无关。

$t_f$自由，$x_f$自由，没有直接的代数关系。Euler方程和公式$(3)$一样，边界条件多了
$$\begin{array}{r}{L}_{\dot{x}}(x_f)=0\\ L(x,\dot{x},t_f)=0\end{array}\text{\hspace{1em}(4)}$$

3.4 $t_f$自由，$x_f$自由，之间有代数约束。

两者之间的关系为
$${\psi }_i(x_f,t_f)=0，i=1,2,...m,(m<n)$$
有m个终端约束，数目小于状态向量$x$的维数n。此时，按照Lagrange乘数法，设一个常数向量$\mu \in {\mathbb{R}}^{m\times 1}$，构造新的性能指标
$$J(x,t)={\mu }^T\psi +{\int }_0^{t_f}L\text{d}t={\int }_0^{t_f}L+{\mu }^T\frac{\text{d}\psi }{\text{d}t}\text{d}t$$
定义被积函数为Hamilton函数，即
$$H(x,\mu )=L+{\mu }^T\frac{\text{d}\psi }{\text{d}t}\text{\hspace{1em}(5)}$$
则化为标准的Lagrange性无约束问题。对它仍有Euler方程，
$$H_x-\frac{\text{d}}{\text{d}t}{H}_{\dot{x}}=0\text{\hspace{1em}(6)}$$
参考公式$(4)$，有以下两个边界条件
$$\begin{array}{r}{H}_{\dot{x}}(x_f)=0\\ H(x,\dot{x},t_f)=0\end{array}\text{\hspace{1em}(7)}$$
展开，得到横截条件
$$\begin{array}{r}{L}_{\dot{x}}+{\mu }^T\frac{\partial \psi }{\partial x^T}=0\\ L+{\mu }^T\frac{\text{d}\psi }{\text{d}t}=0\end{array}\text{\hspace{1em}(8)}$$
公式$(8)$在终端时刻和终端状态成立$(x_f,t_f)$.一共有n+1个条件。如果终端约束是显函数，则可以消去Largange乘数$\mu$.

例1.2 求椭圆外一点$(x_0,y_0)$到椭圆$\frac{x^2}{8}+\frac{y^2}{4}=1$上距离最近的曲线的表达式$y(x)$。

这里考虑到还没有引入状态过程约束，所以不假设最短路径是直线PQ，而是广义的形式$y(x)$。构建性能指标，任意小弧段长度
$$\text{d}s=\sqrt{\text{d}{x}^2+\text{d}{y}^2}=\sqrt{1+y{\prime }^2}\text{d}x$$
曲线$y(x)$的长度
$$J(y(x),x)={\int }_{x_0}^{x_f}\sqrt{1+y{\prime }^2}\text{d}x$$
已知条件$y(x_0)=y_0$,终点Q自变量$x_f$自由，状态变量$y(x_f)$自由，终端约束方程
$$\psi (y(x_f),x_f)=x^2+2y^2-8=0$$
以下按照公式$(5)-(8)$的流程进行计算。构建Hamilton函数
$$H(y(x),x)=L+\mu \frac{\text{d}\psi }{\text{d}x}=\sqrt{1+y{\prime }^2}+\mu (2x+4y{y}^{\prime })$$
Euler方程
$$H_y-\frac{\text{d}}{\text{d}x}{H}_{\dot{y}}=4\mu y^{\prime }-\frac{\text{d}}{\text{d}x}(\frac{y^{\prime }}{\sqrt{1+y{\prime }^2}}+4\mu y)=-\frac{y^{\prime \prime }}{(1+y^{\prime 2}{)}^{3/2}}=0$$
即$y^{\prime }=a$,表明曲线$y(x)$是直线。下面考虑边界条件,
$$\begin{array}{r}{y}_0=a{x}_0+b\\ y_f=a{x}_f+b\\ x_f^2+2y_f^2-8=0\\ \sqrt{1+a^2}+\mu (2x_f+4y_{f}a)=0\\ \frac{a}{\sqrt{1+a^2}}+4\mu y_f=0\end{array}$$
5个方程，5个未知数，代数方程可以求解。例如，若$(x_0,y_0)=(2,0)=F_2$，则有唯一解$a=b=0,y_f=0,x_f=2\sqrt{2},\mu =1/(8-12\sqrt{2})$.

4. Lagrange乘子法

上面对待终端约束，我们应用了Lagrange乘数$\mu$；在例1.1中我们处理的，虽然知道是直线但还是用了曲线假设；为了处理最优路径问题中的约束，我们引入Lagrange乘子$\lambda$。由于它是一个变量，和状态变量相对应地，我们也称它为协态变量。
以下考虑两种常见的等式形式的路径约束，不论是什么类型，都用Lagrange乘子法。

4.1 代数方程约束

也称为几何约束
$$g_i(x(t),t)=0,i=1,2,...m,(m\le n)$$
引入Lagrange乘子$\lambda (t)\in {\mathbb{R}}^{m\times 1}$，使性能指标变为
$$J(x,\lambda ,t)={\int }_0^{t_f}L+{\lambda }^{T}g\text{d}t={\int }_0^{t_f}H(x,\lambda ,t)\text{d}t\text{\hspace{1em}(9)}$$
该系统仍可套用Euler方程（n维），此外方程自始至终满足几何约束的（m）个约束，则可解。

4.2 动力学方程约束

这里考虑一阶常微分方程形式的动态约束：
$$f(x(t),\dot{x}(t),t)=0$$
终端时刻$t_f$固定，终端状态$x_f$自由。对这个问题引入Lagrange乘子$\lambda (t)\in {\mathbb{R}}^{m\times 1}$，使性能指标变为
$$J(x,\dot{x},\lambda ,t)={\int }_0^{t_f}L+{\lambda }^{T}f\text{d}t={\int }_0^{t_f}H(x,\dot{x},\lambda ,t)\text{d}t\text{\hspace{1em}(10)}$$
可见公式$(10)$与公式$(9)$形式一样。对上式仍然采用变分法，此处注意状态变量$\delta \dot{x(t)}$和$\delta x(t)$通过分部积分法可以联系起来，而乘子$\delta \lambda (t)$是独立的，所以对性能指标的变分包括2部分
$$\begin{gathered} \delta J(\delta x^{\ast },\delta {\lambda }^{\ast })={\int }_{t_0}^{t_f}\left\{\left[L_{\mathbf{x}}+{\lambda }^T{\mathbf{f}}_{\mathbf{x}}\right]\delta \mathbf{x}(t)+\left[L_{\dot{\mathbf{x}}}+{\lambda }^T{\mathbf{f}}_{\mathbf{x}}\right]\delta \dot{\mathbf{x}}(t)+\delta {\lambda }^T(t)f\right\}\text{d}t \\ ={\int }_0^{t_f}[(H_x-\frac{\text{d}}{\text{d}t}{H}_{\dot{x}})\delta \mathbf{x}+{\mathbf{f}}^T\delta \lambda (t)]\text{d}t \end{gathered}$$
考虑到变分的随意性，则有
$$\begin{array}{r}{H}_x-\frac{\text{d}}{\text{d}t}{H}_{\dot{x}}=0\\ \mathbf{f}(\mathbf{x}(t),\dot{\mathbf{x}}(t),t)=0\end{array}\text{\hspace{1em}(11)}$$
该式可考虑其他边界条件，按第二部分所述。

5. 其他重要的内容

5.1 泛函极值的充分条件

函数L(x)取极值的必要条件是$\frac{\partial L}{\partial x}=0$，这样的点成为驻点(Stationary point)。满足一阶必要条件并不能使函数取最小值，例如下面的二次型函数
$$\begin{gathered} L(x_1,x_2)=-x_1^2+3x_2^2+2x_1{x}_2 \\ ={\mathbf{x}}^{\mathrm{T}}A\mathbf{x}=[x_1,x_2]\left[\begin{array}{c}-1,1\\ 1,3\end{array}\right]\left[\begin{array}{c}{x}_1\\ x_2\end{array}\right] \end{gathered}$$

原点处$\frac{\partial L}{\partial x}=A\mathbf{x}=\left[\begin{array}{c}-1,1\\ 1,3\end{array}\right]\left[\begin{array}{c}0\\ 0\end{array}\right]=\left[\begin{array}{c}0\\ 0\end{array}\right]$，但显然$x_1<0,x_2=0$时仍有更小的值。这样的点称为鞍点，等势面如下图

多元函数的极值点使函数取最小值的充分条件是Hessian矩阵正定，即
$$\frac{{\partial }^{2}L}{\partial u^2}\succ 0$$

如果Hessian矩阵在驻点处为0，则仍然不能保证在此处取极小值，此时需要考察高阶导的情况。
对于泛函极值问题，若有以下性能指标
$$\underset{x(t)}{\min }J(x,t)={\int }_0^{t_f}L(x,\dot{x},t)\text{d}t$$

则Euler方程$(3)$是最优路径的必要条件，这样的解是驻值曲线。驻值曲线处性能指标取极小值的充分条件为
$$\frac{{\partial }^{2}L}{\partial {\dot{x}}^2}⋟0\text{\hspace{1em}(12)}$$

参考书

[1] 邢继祥. 最优控制应用基础[M]. 科学出版社, 2003.
[2] Bryson A E , Ho Y C ,Applied optimal control : optimization, estimation, and control[J]. IEEE Transactions on Systems Man & Cybernetics, 1975