最优化问题简介

题目：最优化问题简介

        一年多学习以来，无论是前面学习压缩感知，还是这半年学习机器学习，一直离不开最优化，比如压缩感知的基追踪类重构算法，核心问题就是一个优化问题，而机器学习中的很多算法也需要最优化的知识，比如支持向量机算法。看来必须得把最优化的基本内容学习一下了，不求理解的有多么深，至少要知道怎么用。其实前面已经写过一篇与最优化相关的内容了，就是《压缩感知中的数学知识：凸优化》这篇。

        从本篇起，开始学习一些有关最优化的基础知识，重点是了解概念和如何应用。本篇是参考文献第1.1节的一个摘编或总结，主要是把一些概念集中起来，可以随时查阅。

1、一般形式

        最优化问题的数学模型的一般形式为（以下称为最优化数学模型）：

其中，和为连续函数，通常还要求连续可微。称为决策变量，为目标函数，为约束函数，为等式约束，为不等式约束，并记等式约束的指标集为，不等式约束的指标集为。和分别是英文单词minimize(极小化)和subject to(受约束)的缩写。

2、概念

        如果点 满足最优化数学模型中的所有约束条件就称为 可行点(Feasible Point)，所有可行点的全体称为 可行域(Feasible Region)，用 表示。在一个可行点 考虑不等式约束 ，如果有 ，就称不等式约束 在点 考虑不等式约束是 有效约束或 起作用约束(active constraint)，并称可行点 位于约束 的边界；如果有 ，就称不等式约束 在点 是 无效约束或 不起作用约束(inactive constraint)；对于一个可行点 ，如果没有一个不等式约束是有效的，就称 是可行域的 内点，不是内点的可行点就是可行域的 边界点。显然在边界点至少有一个不等式约束是有效约束，当存在等式约束时，任何可行点都要满足等式约束，因此不可能是等式约束的内点。
        如果一个可行点 满足 ，则称为最优化问题的 全局最优解（或总体最优解）；如果可行点 满足 ，则称为最优化问题的 严格全局最优解（或严格总体最优解）；对于可行点 ，如果存在一个邻域 使得 成立，则称为最优化问题的 局部最优解，其中 是一个小的正数；对于可行点 ，如果存在一个邻域 使得 成立，则称为最优化问题的 严格局部最优解。如下图所示，点 是严格全部极小解， 和 则是局部极小解，其中 是严格局部极小解，而 是非严格局部极小解。（注： 附近有一段线是水平的）

        一般常见的最优化方法只适用于确定最优化问题的局部最优解，有关确定全局最优解的最优化方法属于最优化问题的另一个领域——全局最优化。然而，如果最优化问题的目标函数是凸的，而可行域是凸集，则问题的任何最优解（不一定唯一）必是全局最优解，这样的最优化问题又称为凸规划。进一步，对于凸集上的严格凸函数的极小化问题，存在唯一的全局最优解。

3、分类

1）约束最优化问题

        只要在问题中存在任何约束条件，就称为约束最优化问题。

        只有等式约束时，称为等式约束最优化问题，数学模型为：

        只有不等式约束时，称为不等式约束最优化问题，数学模型为：

        既有等式约束，又有不等式约束，则称为混合约束优化问题（或一般约束优化问题）；

        把简单界约束优化问题称为盒式约束优化问题（或有界约束优化问题），数学模型为：

2）无约束最优化问题

        如果问题中无任何约束条件，则称为无约束最优化问题，数学模型为：

3）连续与离散最优化问题

        决策变量的取值是连续的，称为连续最优化问题；

        决策变量的取值是离散的，称为离散最优化问题，又称为组合最优化问题。如整数规划、资源配置、邮路问题、生产安排等问题都是离散最优化问题的典型例子，求解难度比连续最优化问题更大。

4）光滑与非光滑最优化问题

        如果最优化数学模型中的所有函数都连续可微，则称为光滑最优化问题；

        只要有一个函数非光滑，则相应的优化问题就是非光滑最优化问题。

5）线性规划问题

        对于连续光滑最优化问题，如果最优化数学模型中的所有函数都是决策变量的线性函数，则称为 线性规划问题。线性规划问题的一般形式为：

其中。矩阵向量形式为

其中，

，

6）二次规划问题

        对于连续光滑最优化问题，如果最优化数学模型中的目标函数是决策变量的二次函数，而所有约束都是决策变量的线性函数，则称为二次规划问题。二次规划问题的一般形式为：

其中，为纯量，为阶对称矩阵。如果为半正定矩阵，则称此规划为凸二次规划，否则为非凸规划。对于非凸规划，由于存在比较多的驻点，求解比较困难。

7）非线性最优化问题

        只要最优化数学模型中的函数有一个关于决策变量是非线性的，则称为非线性最优化问题。

        非线性最优化问题是最一般的最优化问题，而线性规划和二次规划问题却是相当重要的特殊的最优化问题，因为在实际中形成的许多最优化问题都是线性规划问题或二次规划问题，而且在用迭代法求非线性最优化问题的最优解时我们常常用线性规划或二次规划来局部近似原非线性最优化问题，并通过求所得近似问题的最优解来对已有最优解的估计进行改进。

 

参考文献：

孙文瑜, 徐成贤, 朱德通.最优化方法(第二版)[M]. 北京:高等教育出版社, 2010.