最优控制问题求解综述

最优控制理论是研究和解决从一切可能的控制方案中寻找最优解的一门，解决最优控制问题的主要方法有古典变分法、极小值原理和动态规划。最优控制理论已被应用于综合和设计最速控制系统、最省燃料控制系统、最小能耗控制系统等。同时，这篇综述也阐释了几种常见方法之间的关系。

1、最优控制问题基本介绍
　　最优控制是使控制系统的性能指标实现最优化的基本条件和综合方法，是现代控制理论的核心之一，是从大量实际问题中提炼出来的。它所研究的问题可以概括为：对一个受控的动力学系统或运动过程，从一类允许的控制方案中找出一个最优的控制方案，使系统的运动在由某个初始状态转移到指定的目标状态的同时，其性能指标最优。最优控制是最优化方法的一个应用。从数学意义上说，最优化方法是一种求极值的方法，即在一组约束为等式或不等式的条件下，使系统的目标函数达到极值，即最大值或最小值。从经济意义上说，是在一定的人力、物力和财力资源条件下，是经济效果达到最大（如产值、利润），或者在完成规定的生产或经济任务下，使投入的人力、物力和财力等资源为最少。
　　控制理论发展到今天，经历了古典控制理论和现代控制理论两个重要发展阶段，现已进入了以大系统理论和理论为核心的第三个阶段。对于确定性系统的最优控制理论，实际是从20世纪50年代才开始真正发展起来的，它以1956年原苏联庞特里亚金（Pontryagin）提出的极大值原理和1957年贝尔曼提出的动态规划法为标志。时至今日，随着数字技术和电子计算机的快速发展，最优控制的应用已不仅仅局限于高端的航空航天领域，而更加渗入到生产过程、军事行动、经济活动以及人类的其他有目的的活动中，对于国民经济和国防事业起着非常重要的作用。
　　对于静态优化的方法，解决的主要是如何求解函数的极值问题；变分法则被用来求解泛函的极值问题；极小值原理的方法，适用于类似最短时间控制、最少燃料控制的问题。另外，还有线性系统二次型指标的最优控制，即线性二次型问题。与解析法相比，用最优控制理论设计系统有如下的特点：
　　（1）适用于多变量、非线性、时变系统的设计。
　　（2）初始条件可以任意。
　　（3）可以满足多个目标函数的要求，并可用于多个约束的情况。
　　2、最优控制的求解方法
　　2.1 变分法
　　变分法是求解泛函极值的一种经典方法，可以确定容许控制为开集的最优控制函数，也是最优控制问题的一种重要工具。掌握变分法的基本原理，还有助于理解以最小值原理和动态规划等最优控制理论的思想和内容。
　　但是，变分法作为一种古典的求解最优控制的方法，只有当控制向量u（t）不受任何约束，其容许控制集合充满整个m维控制空间，用古典变分法来处理等式约束条件下的最优控制问题才是行之有效的。在许多实际控制问题中，控制函数的取值常常受到封闭性的边界限制，如方向舵只能在两个极限值范围内转动，电动机的只能在正负的最大值范围内产生等。因此，古典变分法不适于解决许多重要的实际最优控制问题。
　　2.2 最小值原理
　　极小值原理是对经典变分法的扩展，可以解决经典变分法无法解决的最优控制问题。也就是当控制有约束，哈密顿函数H对U不可微时，要用极小值原理。所得出的最优控制必要条件与变分法所得的条件的差别，仅在于用哈密顿函数在最优控制上取值的条件代替，可以看出，后者可以作为前者的特殊情况。其他条件包括正则方程，横截条件，边界条件等都一样。需要注意的是，极小值原理解决最短时间控制问题时，最短时间的控制量只能取约束的边界值+1或-1；而最少燃料控制的控制量可取边界值+1、-1、0。
　　用极小值原理解非线性系统的最优控制将导致非线性两点边值问题，这类问题求解是很困难的。即使系统是线性的，但当指标函数是最短时间、最少燃料这种形式，要求得到最优控制的解析表达式，并构成反馈控制（即把U（t）表示为X（t）的函数）也是非常困难的。 若系统是线性的，指标函数是二次型的，可以求得线性最优反馈控制律。
　　2.3 动态规划
　　动态规划又称为多级决策理论，是贝尔曼提出的一种非线性规划方法。它将一个多级决策问题化为一系列单极决策问题，从最后一级状态开始到初始状态为止，逆向递推求解最优决策。动态规划法原理简明，适用于计算机求解，在许多理论问题的中，都应用到动态规划的思路。
　　动态规划是求解最优化问题的重要方法，在应用动态规划时，有一个前提条件是系统的状态变量必须满足“无后效性”。所谓无后效性的概念是：在任一时刻，系统状态为x(t)，以后的状态仅决定于x(t)以及x(t)到达终点时刻的控制策略，而与以前的状态和以前的控制策略无关。因此，在应用动态规划方法时，要注意状态变量的选取，使之满足“无后效性”的条件。例如，讨论物体在空间运动时，不仅选用物体的空间位置座位状态变量，而且要将速度变量也包括在状态变量之内，以便满足“无后效性”的条件。动态规划法的局限性还表现在所谓的“维数灾难”问题：当状态变量的维数增加，要求计算机内存成指数倍增长，计算工作量也大大增加。此外，求解连续决策过程采用的动态规划法得到的HJB方程是偏微分方程，求解HJB方程也是相当困难的。动态规划虽然提供的是充分条件，但是，由于连续型系统的HJB方程难于求解而不能满足实际需要。
　　2.4 线性二次型最优控制
　　线性二次型问题的实用意义在于：把它所得到的最优反馈控制与非线性系统的开环最优控制结合起来，可减少开环控制的误差，达到更精确的控制的目的。
　　与经典控制问题相比，线性二次型问题有两个显著的特点：第一，它是多输入多输出动态系统的控制问题，其中包括了作为特例的单输入单输出情形；第二，它的性能指标是综合性的，既包含有误差的成分，又包含有控制能量的成分。根据线性的最优反馈控制律，即控制量正比与状态变量。把这种线性二次型问题的最优控制与非线性系统的开环控制结合起来，还可减少开环控制的误差。线性二次型问题的最优控制一般可分状态调节器问题和伺服跟踪问题两大类。
　　对于终端时刻$t_f$有限的连续系统状态问题，要求加权阵P、Q为对称半正定，R为对称正定。
　　3、三种方法之间的相互关系
　　动态规划法、极小值原理和变分法，都是求解最优控制问题的重要方法。由动态规划的HJB方程，可以推得变分法中的欧拉方程和横截条件：也可以推得极小值原理的必要条件。
　　变分法对解决开集约束的最优控制问题十分有效，但对于处理闭集性约束就无能为力了。变分法与极小值原理都可以解微分方程所描述的变分问题作为目标，结果得出了一组常微分方程所表示的必要条件。这三种方法要求的条件不同，其中属动态规划要求最高。在所要求的条件都满足的情况下，使用这三种方法所得结论相同。
　　
参考文献：
　　[1] 胡寿松-最优控制理论与系统[M].（第二版）北京：科学出版社，2005.
　　[2] 张莲-现代控制理论.北京：清华大学出版社，2008.1.
　　[3] 于长官-现代控制理论及应用.哈尔冰工业大学出版社，2005.1.
　　[4] 舒欣梅-现代控制理论基础.西安：西安电子科技大学出版社，2008.2.
　　[5] 刘豹-现代控制理论.（3版）北京：机械工业出版社，2006.7.