最优化基础（一）
最优化基础（一）1
最优化问题的数学模型
通俗地说，所谓最优化问题，就是求一个多元函数在某个给定集合上的极值. 几乎所有类型的最优化问题都可以用下面的数学模型来描述:
m i n f ( x ) s . t . x ∈ Ω min\ f({x})\\ s.t. \ {x}\in \Omega min f(x)s.t. x∈Ω
这里, Ω \Omega Ω是某个给定的集合(称为可行集或可行域), f ( x ) f(\mathbf{x}) f(x)是定义在集合 Ω \Omega Ω上的实值函数,称为目标函数. 此外，在以上模型中， x = ( x 1 , x 2 , ⋯ , x n ) T x=(x_1,x_2,\cdots,x_n)^T x=(x1,x2,⋯,xn)T通常称为决策变量, s.t. 是subject to (受限于) 的缩写.
人们通常按照可行集的性质对最优化问题进行一个大致的分类:
- 线性规划和非线性规划. — 可行集是有限维空间中的一个子集;
- 组合优化或网络规划. — 可行集中的元素是有限的;
- 动态规划. — 可行集是一个依赖时间的决策序列;
- 最优控制. — 可行集是无穷维空间中的一个连续子集.
在工程设计中有着重要应用的非线性规划，其数学模型为
m i n f ( x ) s . t . h i ( x ) = 0 , i = 1 , ⋯ , l , g i ( x ) ≥ 0 , i = 1 , ⋯ , m , \begin{aligned} &min& & f(x)\\ &s.t. && h_i(x)=0,\ i=1,\cdots,l,\\ &&&g_i(x)\geq0,\ i=1,\cdots,m, \end{aligned} mins.t.f(x)hi(x)=0, i=1,⋯,l,gi(x)≥0, i=1,⋯,m,
其中， f ( x ) , h i ( x ) , g i ( x ) f(x),h_i(x),g_i(x) f(x),hi(x),gi(x)都是定义在 R n \mathbb{R}^n Rn上连续可微的多元实值函数, 且至少有一个是非线性的. 记
E = { i : h i ( x ) = 0 } , I = { i : h i ( x ) ≥ 0 } E=\{i:h_i(x)=0\},\ I=\{i:h_i(x)\geq0\} E={i:hi(x)=0}, I={i:hi(x)≥0}
若指标集$E\cup I=\emptyset $称之为无约束优化问题，否则称为约束优化问题.
此外，通常把目标函数为二次函数而约束函数都是线性函数的优化问题称为二次规划；而目标函数和约束函数都是线性函数的优化问题称为线性规划.
马昌凤. 最优化方法及其Matlab程序设计[M]. 科学出版社, 2010. ↩︎