优化问题笔记（1）

1. 优化问题的基本概念和最优解的微分判据

1.1 一般优化问题的提法

$$\begin{array}{r}\{\begin{array}{l}\min f_0(x)\\ \text{s.t.}{f}_i(x)\le 0,i=1,\cdots ,p,\\ h_j(x)=0,j=1,\cdots ,q,\\ x\in \Omega ,\end{array}\end{array}$$

其中 $f_0:{\mathbb{R}}^n\to \mathbb{R}$ 称为目标函数，$f_i:{\mathbb{R}}^n\to \mathbb{R}$ 和 $h_j:{\mathbb{R}}^n\to \mathbb{R}$ 称为约束函数. $f_i(x)\le 0$ 称为不等式约束，$h_j(x)=0$ 称为等式约束. Ω 称为约束集. 称$$\mathcal{D}=\{x\in \Omega |f_i(x)\le 0,i=1,\cdots ,p;h_j(x)=0,j=1,\cdots ,q\}$$为其可行集.如果没有约束，即$p=q=0$ 且$\Omega ={\mathbb{R}}^n$ 时，则称该问题为无约束优化问题， 此时 $\mathcal{D}={\mathbb{R}}^n.$

优化问题(1)的含义是： 在可行集 $D$ 中求使得 $f_0(x)$ 具有最小值的点，即求 $x^{\ast }\in \mathcal{D}$ 使得： $f_0(x^{\ast })\le f_0(x),\forall x\in \mathcal{D}$.这个问题可简记为
$$\begin{array}{r}\underset{x\in \mathcal{D}}{\min }{f}_0(x),\end{array}$$亦记为$(f_0,\mathcal{D}).$

可行集 $\mathcal{D}$ 中的点称为可行点. 当 $\mathcal{D}$ 非空时，称优化问题(2)是可行的； 否则称为不可行的. 称$${\xi }^{\ast }:=\underset{x\in \mathcal{D}}{\inf }{f}_0(x)$$为优化问题(2)的最优值 (始终默认空集上的下确界为 $\infty )$. 若存在 $x^{\ast }\in \mathcal{D}$ 使得$f_0(x^{\ast })={\xi }^{\ast }$, 则称该问题是可解的，并称 $f_0(x^{\ast })={\xi }^{\ast }$ 的点 $x^{\ast }\in \mathcal{D}$ 为该问题的一个解，亦称为最优解，最优点，或全局解，常记为
$$\begin{array}{r}{x}^{\ast }\in \underset{x\in \mathcal{D}}{\mathrm{argmin}}{f}_0(x).\end{array}$$所有最优点所构成的集合称为最优集，记为 $X_{\mathrm{opt}}^{\ast }.$

除全局解的概念以外，还有如下几种意义的解：

(1) 全局严格最优解： $f_0(x^{\ast })<f_0(x),\forall x\in \mathcal{D}\setminus \{x^{\ast }\};$

(2) 局部最优解： 存在 $r>0$,使得 $f_0(x^{\ast })\le f_0(x),\forall x\in \mathcal{D}\cap B(x^{\ast },r);$

(3) 局部严格最优解： 存在 $r>0$,使得 $f_0(x^{\ast })<f_0(x),\forall x\in \mathcal{D}\cap B(x^{\ast },r)\setminus \{x^{\ast }\}.$

1.2 优化问题局部最优解的微分判据

定义 1.2.1： (可行方向，feasible direction) 设 $\mathcal{D}$ 是优化问题(2)的可行集，$x^{\ast }\in \mathcal{D}$, $d\in \partial B(0,1)$.如果当 $\delta >0$ 充分小时，有 $x^{\ast }+\delta d\in \mathcal{D}$,则称 $d$ 是该优化问题在 $x^{\ast }$ 处的一个可行方向，记为 $d\in \mathbf{FD}(x^{\ast }).$

在实际问题中，约束条件常常使得可行集 $\mathcal{D}$ 并不一定能够包含一段完整的线段. 例如，如果某个等式约束条件是
$$h_j(x):=x_1^2+\cdots +x_n^2-1=0,$$
即 ${\mathbb{R}}^n$ 中单位球面，那么该球面上任何一点 $x^{\ast }$ 都不存在可行方向. 当我们考虑点列 $\{x_k\}$ 沿着球面趋于 $x^{\ast }$ 时，那么，方向 $d_k:=(x_k-x^{\ast })/\Vert x_k-x^{\ast }{\Vert }_2$ 逐步靠近球面在 $x^{\ast }$ 点的切平面.如果 $\{d_k\}$ 有极限，我们便称其极限为一个序列可行方向.

定义 1.2.2： (序列可行方向，sequential feasible direction) 设 D 是约束优化问题(4.1.2)的可行集，$x^{\ast }\in \mathcal{D},d\in \partial B(0,1)$, 如果存在 $d_k\to d$ 与正数列 ${\delta }_k\to 0$,使得 $x^{\ast }+{\delta }_k{d}_k\in \mathcal{D},\forall k\in \mathbb{N}$，即$d_k:=\frac{x_k-x^{\ast }}{||x_k-x^{\ast }{\Vert }_2}$的极限存在则称 $d$ 是该优化问题在 $x^{\ast }$ 处的一个序列可行方向，记为 $d\in \mathbf{SFD}(x^{\ast }).$

引理 1.2.1： (可行方向的性质) 设 $x^{\ast }\in \mathcal{D}$,那么 $\mathbf{SFD}(x^{\ast })$ 是一个闭集，且$$\begin{array}{r}\mathbf{cl}(\mathbf{FD}(x^{\ast }))\subset \mathbf{SFD}(x^{\ast })\subset \mathbf{U}(x^{\ast })\cap \partial B(0,1)\subset V_{\mathcal{D}}\cap \partial B(0,1),\end{array}$$其中$$\begin{array}{r}\mathbf{U}(x^{\ast }):=\mathbf{cl}[\bigcup _{r>0}r(\mathcal{D}-x^{\ast })].\end{array}$$特别

(1) 当$x^{\ast }\in \mathbf{ri}(\mathcal{D})$ 时，有$V_{\mathcal{P}}\cap \partial B(0,1)\subset \mathbf{FD}(x^{\ast })$,因而(4)中四个集合均相等，

(2)当$\mathcal{D}$ 是凸集时，(4)中前三个集合相等.

引理 1.2.2 设 $x^{\ast }\in \mathcal{D},\xi \in {\mathbb{R}}^n,G\in {\mathbb{R}}^{n\times n}$ 考虑条件$$\{\begin{array}{ll}(a){\xi }^{T}d\ge 0,& \forall d\in \mathbf{SFD}(x^{\ast }),\\ (b){\xi }^T(x-x^{\ast })\ge 0,& \forall x\in \mathcal{D},\\ (c){\xi }^{T}d=0,& \forall d\in V_{\mathcal{D}}\end{array}$$和$$\{\begin{array}{ll}(i)d^{T}Gd\ge 0,& \forall d\in \mathbf{SFD}(x^{\ast }),\\ (ii)(x-x^{\ast }{)}^{T}G(x-x^{\ast })\ge 0,& \forall x\in \mathcal{D},\\ (iii)d^{T}Gd\ge 0,& \forall d\in V_{\mathcal{D}}.\end{array}$$

那么 $(c)⟹(b)⟹(a),(iii)⟹(ii)⟹(i)$.特别

(1) 当$x^{\ast }\in \mathbf{ri}(\mathcal{D})$ 时，有$(a)⟺(b)⟺(c),(i)⟺(ii)⟺(iii)$

(2) 当$\mathcal{D}$ 是凸集时，有 $(a)⟺(b),(i)⟺(ii).$

命题 1.2.1：(必要条件) 设 $x^{\ast }$ 是优化问题 $(f,D)$ 的一个局部解，那么

(1) 若目标函数 $f$ 在 $x^{\ast }$ 处可微，则
$$\begin{array}{r}\nabla f(x^{\ast }{)}^{T}d\ge 0,\forall d\in \mathbf{SFD}(x^{\ast }).\end{array}$$(2)若 $f$ 在 $x^{\ast }$ 处二阶连续可微，且 $x^{\ast }\in \mathbf{ri}(\mathcal{D})$,则
$$\begin{array}{r}\nabla f(x^{\ast }{)}^{T}d=0,d^T{\nabla }^{2}f(x^{\ast })d\ge 0,\forall d\in V_{\mathcal{D}}.\end{array}$$

例 1.2.1 (等式约束优化问题之必要条件) 设 $A\in {\mathbb{R}}^{m\times n},b\in {\mathbb{R}}^m$ 使得集合 $\mathcal{D}:=\{x\in$ ${\mathbb{R}}^n|Ax=b\}$ 非空，又设函数 $f$ 在 $x^{\ast }$ 处可微. 那么，等式约束优化问题

$$\begin{array}{r}\{\begin{array}{l}\min f(x)\\ \text{s.t}Ax=b\end{array}\end{array}$$的局部最优解 $x^{\ast }\in {\mathbb{R}}^n$ 满足：$$\begin{array}{r}\nabla f(x^{\ast })\in \mathbf{ran}(A^T),A{x}^{\ast }=b,\end{array}$$其中 $\mathbf{ran}(A^T)$ 是 $A^T$ 的列向量所张成的空间.

命题 1.2.2： (一阶充分条件) 设 $x^{\ast }\in \mathcal{D}$, $f$ 在 $x^{\ast }$ 处可微，满足

$$\begin{array}{r}\nabla f(x^{\ast }{)}^{T}d>0,\forall d\in \mathbf{SFD}(x^{\ast }).\end{array}$$那么，$x^{\ast }$ 是 ($f,D)$ 的一个严格局部极小点

命题 1.2.3：(二阶充分条件) 设 $x^{\ast }\in \mathbf{ri}(\mathcal{D}),f$ 在 $x^{\ast }$ 处二阶连续可微，且
$$\nabla f(x^{\ast }{)}^{T}d=0,d^T{\nabla }^{2}f(x^{\ast })d>0,\forall d\in V_{\mathcal{D}}\setminus \{0\},$$那么，$x^{\ast }$ 是 $(f,D)$ 的一个严格局部极小点

2. 约束优化问题局部最优解的 KKT 条件

上一小节的几个关于优化问题 $(f,\mathcal{D})$ 的局部最优解的的必要和充分条件都依赖于序列可行方向 $\mathbf{SFD}(x^{\ast })$. 在实际问题中, 约束条件常常是由若干个不等式或等式给出的, 凭借这些不等式来判断一个方向是否为序列可行方向不是一件容易的事情. 所以, 有必要将这些必要与充分条件转换为由约束函数表述的相关条件, 使之便于检验和应用. 在这一小节, 通过 Abadie 约束条件将$\mathbf{SFD}(x^{\ast })$与一个所谓线性化可行方向集$\mathbf{LFD}(x^{\ast })$ 关联起来, 然后利用 Farkas 引理实现了这种转换, 建立起了由约束函数表述的必要充分条件.

2.1 Abadie 约束条件

本节考虑不含约束集 Ω 的约束优化问题$$\begin{array}{r}\{\begin{array}{l}\min f_0(x)\\ s.t{f}_i(x)\le 0,i=1,\cdots ,p,\\ h_j(x)=0,j=1,\cdots ,q.\end{array}\end{array}$$此时，可行集为$$\mathcal{D}=\{x\in {\mathbb{R}}^n|f_i(x)\le 0,i=1,\cdots ,p;h_j(x)=0,j=1,\cdots ,q\}.$$在上述优化问题(11)中，序列可行方向 $\mathbf{SFD}(x^{\ast })$需要根据给出的若干个不等式或等式来判断，但这不是一件容易的事情. 在第2节中，将致力于将该隐式条件转化为易于处理的等价形式, 由此导出著名的 KKT 条件.

首先给出如下定义：

定义 2.1.1： (有效约束) 对于约束优化问题(11), 设 $x^{\ast }\in \mathcal{D}$,记
$$\mathcal{A}(x^{\ast }):=\{i|1\le i\le p,f_i(x^{\ast })=0\}.$$称下标在 $A(x^{\ast })$ 的约束为在 $x^{\ast }$ 处的有效约束 (或起作用的约束), 其余的称为 $x^{\ast }$ 处的无效约束.

命题 2.1.1： (序列可行方向的必要条件) 对于优化问题(11), 设 $x^{\ast }\in \mathcal{D},\{f_i{\}}_{i\in \mathcal{A}(x^{\ast })}$, $\{h_j{\}}_{j=1}^q$ 均在 $x^{\ast }$ 处可微，那么，$\forall d\in \mathbf{SFD}(x^{\ast })$,有$$\begin{array}{r}\nabla f_i(x^{\ast }{)}^{T}d\le 0,\forall i\in \mathcal{A}(x^{\ast }),\nabla h_j(x^{\ast }{)}^{T}d=0,\forall j=1,\cdots q.\end{array}$$

证：因$d\in \mathbf{SFD}(x^{\ast })$,故存在 $\{d_k\}\subset \partial B(0,1)$ 和 ${\delta }_k\to 0+$, 使得 $d_k\to d,x^{\ast }+{\delta }_k{d}_k\in \mathcal{D}.$ 对任意的 $i\in \mathcal{A}(x^{\ast })$, 有$$0\ge f_i(x^{\ast }+{\delta }_k{d}_k)=f_i(x^{\ast })+{\delta }_k\nabla f_i(x^{\ast }{)}^T{d}_k+o({\delta }_k)={\delta }_k\nabla f_i(x^{\ast }{)}^T{d}_k+o({\delta }_k).$$两边除以 ${\delta }_k$,并令 $k\to \infty$,得 $\nabla f_i(x^{\ast }{)}^{T}d\le 0.$ 类似地可证 $\nabla h_j(x^{\ast }{)}^{T}d=0,j=1,\cdots ,q.$

注： 条件(12)说明，在 $x^{\ast }$ 处沿着序列可行方向，$f_i$ 必须是下降的，而 $h_j$ 必须是不升不降的.

定义 2.1.2： (线性化可行方向 (Linearized Feasible Direction)) 对于优化问题(11),设 $x^{\ast }\in \mathcal{D},\{f_i{\}}_{i\in \mathcal{A}(x^{\ast })},\{h_j{\}}_{j=1}^q$ 均在 $x^{\ast }$ 处可微。称$$\mathbf{LFD}(x^{\ast }):=\left\{d\in \partial B(0,1)|\text{满足}(12)\right\}$$中的向量 $d$ 为在 $x^{\ast }$ 处的线性化可行方向.

命题 2.1.2 表明，当 $x^{\ast }\in \mathcal{D}$,且 $\{f_i{\}}_{i\in \mathcal{A}(x^{\ast })}$ 和 $\{h_j{\}}_{j=1}^q$ 均在 $x^{\ast }$ 处可微时，有 $\mathbf{SFD}(x^{\ast })\subset$ $\mathbf{LFD}(x^{\ast }).$ 一般而言，等式$$\begin{array}{r}\mathbf{SFD}(x^{\ast })=\mathbf{LFD}(x^{\ast })\end{array}$$不一定成立. 若它成立，我们便称优化问题(11)在 $x^{\ast }$ 处满足 Abadie 约束条件 (Abadie constraint qualification,简称为 ACQ).与 $\mathbf{SFD}(x^{\ast })$ 不同的是，$\mathbf{SFD}(x^{\ast })$ 通过(12)由约束函数对序列可行方向给出代数刻画.

定义 2.1.3： (正则点) 对于优化问题(11), 设 $x^{\ast }\in \mathcal{D},\{f_i{\}}_{i\in \mathcal{A}(x^{\ast })},\{h_j{\}}_{j=1}^q$ 均在 $x^{\ast }$ 的某邻域内有连续的偏导数，若如下条件之一成立

$(1)\{f_i{\}}_{i\in \mathcal{A}(x^{\ast })},\{h_j{\}}_{j=1}^q$ 均为仿射函数；

(2) 梯度向量族 $\{\nabla f_i(x^{\ast }),\nabla h_j(x^{\ast })|i\in \mathcal{A}(x^{\ast }),j=1,\cdots ,q\}$ 线性无关，

则称 $x^{\ast }$ 是该问题的一个正则点.

命题 2.1.3 ：(ACQ 的充分条件) 若 $x^{\ast }$ 是优化问题(11)的一个正则点，那么 $Abadie$ 约束条件(13)成立.

2.2 局部最优解的必要条件

下面将在 Abadie 约束条件下，利用 Farkas 引理将命题 1.2.1的必要条件写成由约束函数所表达的条件，从而导出优化问题(11)之局部解的必要条件. 为达到这个目的首先引入如下定义的 Lagrange 函数
$$\begin{array}{r}L(x,\lambda ,\mu ):=f_0(x)+\sum _{i=1}^p{\lambda }_i{f}_i(x)+\sum _{j=1}^q{\mu }_j{h}_j(x).\end{array}$$称 ${\lambda }_i$ 和 ${\mu }_j$ 分别为对应于约束函数 $f_i$ 和 $h_j$ 的 Lagrange 乘子.

$\left(\begin{array}{c}\mathrm{4.2.7}\end{array}\right)$

引理 2.2.1： 对于优化问题(11), 设 $x^{\ast }\in {\mathbb{R}}^n,\{f_i{\}}_{i=0}^p,\{h_j{\}}_{j=1}^q$ 均在 $x^{\ast }$ 处可微，则
$$\begin{array}{r}{x}^{\ast }\in \mathcal{D},\nabla f_0(x^{\ast }{)}^{T}d\ge 0,\forall d\in \mathbf{LFD}(x^{\ast }),\end{array}$$当且仅当存在 ${\lambda }^{\ast }\in {\mathbb{R}}^p$ 和 ${\mu }^{\ast }\in {\mathbb{R}}^q$,使得如下 $KKT$ 条件成立：$$\begin{array}{r}\{\begin{array}{l}{x}^{\ast }\in \mathcal{D};\\ {\lambda }_i^{\ast }\ge 0,i=1,\cdots ,p;\\ {\lambda }_i^{\ast }{f}_i(x^{\ast })=0,i=1,\cdots ,p;\\ {\nabla }_{x}L(x^{\ast },{\lambda }^{\ast },{\mu }^{\ast })=0.\end{array}\end{array}$$证. 如果问题(11)是无约束的，那么 $\mathbf{LFD}(x^{\ast })=\partial B(0,1)$. 此时，(15)等价于$\nabla f_0(x^{\ast })=0$,即 KKT 条件(16)成立. 下面设问题(11)是有约束的.

必要性.设 $x^{\ast }\in \mathcal{D}$ 且(15)成立，显然(16)的第一式成立. 下面证(16)的后三式.
根据(15), 对任意的 $d\in \mathbf{LFD}(x^{\ast })$ 有 -$\nabla f_0(x^{\ast }{)}^{T}d\le 0$. 根据 Farkas 引理,存在 ${\lambda }_i^{\ast }\ge 0,i\in \mathcal{A}(x^{\ast })$,以及 ${\mu }_j^{+}\ge 0,{\mu }_j^{-}\ge 0,j=1,\cdots ,q$, 使得$$-\nabla f_0(x^{\ast })=\sum _{i\in \mathcal{A}(x^{\ast })}{\lambda }_i^{\ast }\nabla f_i(x^{\ast })+\sum _{j=1}^q({\mu }_i^{+}-{\mu }_i^{-})\nabla h_j(x^{\ast }).$$记$${\lambda }_i^{\ast }:=0,\forall i\in \{1,\cdots ,p\}\setminus \mathcal{A}(x^{\ast }),{\mu }_j^{\ast }:={\mu }_j^{+}-{\mu }_j^{-},j=1,\cdots ,q,$$便得 ${\lambda }_i^{\ast }\ge 0,{\lambda }_i^{\ast }{f}_i(x^{\ast })=0,i=1,\cdots ,p$, 且 ${\nabla }_{x}L(x^{\ast },{\lambda }^{\ast },{\mu }^{\ast })=0$.即(16)的后三式成立. 必要性获证.

充分性，由(16)可知 $x^{\ast }\in \mathcal{D}$ 且$$\nabla f_0(x^{\ast })+\sum _{i\in \mathcal{A}(x^{\ast })}{\lambda }_i^{\ast }\nabla f_i(x^{\ast })+\sum _{j=1}^q{\mu }_j^{\ast }\nabla h_j(x^{\ast })=0.$$于是，$\forall d\in \mathbf{LFD}(x^{\ast })$,由 $\nabla f_i(x^{\ast }{)}^{T}d\le 0,\forall i\in \mathcal{A}(x^{\ast })$, 且 $h_j(x^{\ast }{)}^{T}d=0,j=1,\cdots ,q$, 立得 $\nabla f_0(x^{\ast }{)}^{T}d\ge 0$. 即(15)成立.

注 1: KKT 是 Karush-Kuhn-Tucker 的缩写.

注 2: KKT 条件中$“{\lambda }_i^{\ast }{f}_i(x^{\ast })=0,i=1,\cdots ,p”$ 称为互补松弛条件.

命题 2.2.4： (一阶必要条件，KKT) 设 $x^{\ast }$ 是优化问题(11)的一个正则点和局部解，则存在 ${\lambda }^{\ast }\in {\mathbb{R}}_{+}^p,{\mu }^{\ast }\in {\mathbb{R}}^q$,满足 $KKT$ 条件(16).

证. 由命题 1.2.1及 Abadie 约束条件可知 (15)成立. 由引理 2.2.1 可知 KKT 条件(16)成立.

在建立二阶必要条件之前，先引入切空间的概念： 称$$\begin{array}{r}\mathcal{T}(x^{\ast }):={\left(\mathrm{span}\{{\left(\nabla f_i(x^{\ast })\right)}_{i\in \mathcal{A}(x^{\ast })},{\left(\nabla h_j(x^{\ast })\right)}_{j=1}^q\}\right)}^{\perp }.\end{array}$$为优化问题(11)的有效约束所生成的切空间.显然有 $\mathcal{T}(x^{\ast })\cap \partial B(0,1)\subset \mathbf{LFD}(x^{\ast })$. 当问题仅含等式约束时，有 $\mathcal{T}(x^{\ast })\cap \partial B(0,1)=\mathbf{LFD}(x^{\ast }).$

命题 2.2.5： (二阶必要条件) 设 $x^{\ast }\in \mathcal{D},\{f_i{\}}_{i=0}^p,\{h_j{\}}_{j=1}^q$ 均在 $x^{\ast }$ 处二阶连续可微，若$x^{\ast }$ 为(4.2.1)的正则点和局部解，则存在 ${\lambda }^{\ast }\in {\mathbb{R}}_{+}^p,{\mu }^{\ast }\in {\mathbb{R}}^q$,满足 $KKT$ 条件(16),且$$\begin{array}{r}{d}^T{\nabla }_x^{2}L(x^{\ast },{\lambda }^{\ast },{\mu }^{\ast })d\ge 0,\forall d\in \mathcal{T}(x^{\ast }).\end{array}$$

2.3 局部最优解的充分条件

命题 2.3.1： (二阶充分条件) 设 $\{f_i{\}}_{i=0}^p,\{h_j{\}}_{j=1}^q$ 均在 $x^{\ast }\in {\mathbb{R}}^n$ 处二阶连续可微，且存在${\lambda }_i^{\ast }\in {\mathbb{R}}^p,{\mu }^{\ast }\in {\mathbb{R}}^q$,满足 $KKT$ 条件 (16). 如果$$\begin{array}{r}{d}^T{\nabla }_{xx}^{2}L(x^{\ast },{\lambda }^{\ast },{\mu }^{\ast })d>\gamma ,\forall d\in \mathcal{T}(x^{\ast },{\lambda }^{\ast })\cap \partial B(0,1),\end{array}$$其中 $\gamma$ 是一个正常数，且$$\begin{array}{rl}\mathcal{T}(x^{\ast },{\lambda }^{\ast })& :=\left(\mathrm{span}\right\{\nabla f_0(x^{\ast }),(\nabla f_i(x^{\ast }){)}_{i\in \mathcal{A}(x^{\ast },{\lambda }^{\ast })},(\nabla h_j(x^{\ast }){)}_{j=1}^q\}{)}^{\perp },\\ & \\ \mathcal{A}(x^{\ast },{\lambda }^{\ast })& :=\{i\in \mathcal{A}(x^{\ast })|{\lambda }_i^{\ast }>0\}.\end{array}$$则存在 $\delta >0$, 使得$$\begin{array}{r}{f}_0(x)\ge f_0(x^{\ast })+\frac{1}{2}\gamma \Vert x-x^{\ast }{\Vert }_2^2,\forall x\in \mathcal{D}\cap B(x^{\ast },\delta ).\end{array}$$因而 $x^{\ast }$ 是优化问题(11)的一个严格局部解.