约束优化问题的最优性条件(KKT条件)

文章目录

    • 等式约束问题
      • 等式的KKT条件
    • 不等式约束问题
      • 不等式约束的KKT条件
    • 一般约束问题
      • 例子
    • 注记

等式约束问题

问题形式:
min ⁡ f ( x ) , x ∈ R n  s.t.  h i ( x ) = 0 , i = 1 , 2 , ⋯   , l (1) \begin{array}{ll} \min f(\boldsymbol{x}), & \boldsymbol{x} \in \mathbf{R}^{n} \\ \text { s.t. } h_{i}(\boldsymbol{x})=0, & i=1,2, \cdots, l \end{array} \qquad \tag {1} minf(x), s.t. hi(x)=0,xRni=1,2,,l(1)
做问题(1)的拉格朗日函数:
L ( x , λ ) = f ( x ) − ∑ i = 1 l λ i h i ( x ) L(\boldsymbol{x}, \boldsymbol{\lambda})=f(\boldsymbol{x})-\sum_{i=1}^{l} \lambda_{i} h_{i}(\boldsymbol{x}) L(x,λ)=f(x)i=1lλihi(x)
其中, λ = ( λ 1 , λ 2 , ⋯   , λ l ) T \lambda = (\lambda_1,\lambda_2,\cdots,\lambda_l)^T λ=(λ1,λ2,,λl)T为乘子向量。

等式的KKT条件

问题(1)取极小值的一阶必要条件,也就是通常所说的KKT条件(Karush-Kuhn-Tucker条件):

定理 1 设问题(1)的局部极小点为: x ∗ x^* x,函数 f ( x ) 和 h i ( x ) ( i = 1 , 2 , ⋯   , l ) f(x)和h_i(x)(i=1,2,\cdots,l) f(x)hi(x)(i=1,2,,l) x ∗ x^* x的某邻域连续可微,向量组 ∇ h i ( x ∗ ) \nabla h_i(x^*) hi(x)线性无关,则存在乘子向量 λ = ( λ 1 , λ 2 , ⋯   , λ l ) T \lambda = (\lambda_1,\lambda_2,\cdots,\lambda_l)^T λ=(λ1,λ2,,λl)T使得:
∇ x L ( x ∗ , λ ∗ ) = 0 \nabla_{x} L\left(\boldsymbol{x}^{*}, \boldsymbol{\lambda}^{*}\right)=\mathbf{0} xL(x,λ)=0
即:
∇ f ( x ∗ ) − ∑ i = 1 l λ i ∗ ∇ h i ( x ∗ ) = 0 \nabla f\left(\boldsymbol{x}^{*}\right)-\sum_{i=1}^{l} \lambda_{i}^{*} \nabla h_{i}\left(\boldsymbol{x}^{*}\right)=\mathbf{0} f(x)i=1lλihi(x)=0
问题(1)取极小值的二阶必要条件,需用到(2)式的拉格朗日函数的梯度和Hesse矩阵,即;
∇ L ( x , λ ) = ( ∇ x L ( x , λ ) ∇ λ L ( x , λ ) ) = ( ∇ f ( x ) − ∑ i = 1 l λ i ∇ h i ( x ) − h ( x ) ) ∇ x x 2 L ( x , λ ) = ∇ 2 f ( x ) − ∑ i = 1 l λ i ∇ 2 h i ( x ) \begin{array}{l} \nabla L(\boldsymbol{x}, \boldsymbol{\lambda})=\left(\begin{array}{c} \nabla_{\boldsymbol{x}} L(\boldsymbol{x}, \boldsymbol{\lambda}) \\ \nabla_{\boldsymbol{\lambda}} L(\boldsymbol{x}, \boldsymbol{\lambda}) \end{array}\right)=\left(\begin{array}{c} \nabla f(\boldsymbol{x})-\sum_{i=1}^{l} \lambda_{i} \nabla h_{i}(\boldsymbol{x}) \\ -\boldsymbol{h}(\boldsymbol{x}) \end{array}\right) \\ \nabla_{\boldsymbol{x} \boldsymbol{x}}^{2} L(\boldsymbol{x}, \boldsymbol{\lambda})=\nabla^{2} f(\boldsymbol{x})-\sum_{i=1}^{l} \lambda_{i} \nabla^{2} h_{i}(\boldsymbol{x}) \end{array} L(x,λ)=(xL(x,λ)λL(x,λ))=(f(x)i=1lλihi(x)h(x))xx2L(x,λ)=2f(x)i=1lλi2hi(x)
若考虑二阶充分性条件,还需要目标函数和约束函数都是二阶连续可微的。

定理 2 函数 f ( x ) 和 h i ( x ) ( i = 1 , 2 , ⋯   , l ) f(x)和h_i(x)(i=1,2,\cdots,l) f(x)hi(x)(i=1,2,,l)二阶连续可微,且存在 ( x ∗ , λ ∗ ) ∈ R n × R l (x^*,\lambda^*) \in R^n \times R^l (x,λ)Rn×Rl使得 ∇ L ( x ∗ , λ ∗ ) = 0 \nabla L\left(\boldsymbol{x}^{*}, \boldsymbol{\lambda}^{*}\right)=\mathbf{0} L(x,λ)=0。对 ∀ d ≠ 0 ∈ R n , ∇ h i ( x ∗ ) T d = 0 ( i = 1 , 2 , . . . l ) \forall d \neq 0 \in R^n,\nabla h_i(x^*)^Td=0(i=1,2,...l) d=0Rn,hi(x)Td=0(i=1,2,...l),均有 d T ∇ x x 2 L ( x ∗ , λ ∗ ) d > 0 d^T \nabla_{\boldsymbol{x} \boldsymbol{x}}^{2}L\left(\boldsymbol{x}^{*}, \boldsymbol{\lambda}^{*}\right) d > 0 dTxx2L(x,λ)d>0,则 x ∗ x^* x是问题(1)的一个严格局部极小点。

不等式约束问题

问题形式:
min ⁡ f ( x ) , x ∈ R n  s.t.  g i ( x ) ≥ 0 , i = 1 , 2 , ⋯   , m (2) \begin{array}{ll} \min f(\boldsymbol{x}), & \boldsymbol{x} \in \mathbf{R}^{n} \\ \text { s.t. } g_{i}(\boldsymbol{x})\geq 0, & i=1,2, \cdots, m \end{array} \qquad \tag{2} minf(x), s.t. gi(x)0,xRni=1,2,,m(2)
记可行域为 D = { x ∈ R n ∣ g i ( x ) ⩾ 0 , i = 1 , 2 , ⋯   , m } , \mathcal{D}=\left\{\boldsymbol{x} \in \mathbf{R}^{n} | g_{i}(\boldsymbol{x}) \geqslant 0, i=1,2, \cdots, m\right\}, D={xRngi(x)0,i=1,2,,m}, 指标集 I = { 1 , 2 , ⋯   , m } \mathcal{I}=\{1,2, \cdots, m\} I={1,2,,m}

不等式约束问题的最优性条件需要用到有效约束,和非有效约束的概念。

问题(2)的一个可行点 x ‾ ∈ D \overline {x} \in \mathcal{D} xD,使得 g i ( x ‾ ) = 0 g_i(\overline x) =0 gi(x)=0,则称不等式约束 g i ( x ) ≥ 0 g_i(x) \geq 0 gi(x)0 x ‾ \overline x x的有效约束。反之,若有 g i ( x ‾ ) > 0 g_i(\overline x) >0 gi(x)>0,则称不等式约束 g i ( x ) ≥ 0 g_i(x) \geq 0 gi(x)0 x ‾ \overline x x的非有效约束。称集合: I ( x ‾ ) = { i ∣ g i ( x ‾ ) = 0 } \mathcal{I} (\overline x) = \{i | g_i(\overline x) = 0 \} I(x)={igi(x)=0} x ‾ \overline x x处的有效约束指标集,简称有效集。

下面的两个引理是研究不等式约束问题最优性条件的基础。
引理 1 (Farkas 引理) 设 a , b i ∈ R n ( i = 1 , 2 , ⋯   , r ) . \boldsymbol{a}, \boldsymbol{b}_{i} \in \mathbf{R}^{n}(i=1,2, \cdots, r) . a,biRn(i=1,2,,r). 则线性不等式组
b i T d ⩾ 0 , i = 1 , 2 , ⋯   , r , d ∈ R n \boldsymbol{b}_{i}^{\mathrm{T}} \boldsymbol{d} \geqslant 0, \quad i=1,2, \cdots, r, \boldsymbol{d} \in \mathbf{R}^{n} biTd0,i=1,2,,r,dRn
与不等式 a T d ⩾ 0 \boldsymbol{a}^{\mathrm{T}} \boldsymbol{d} \geqslant 0 aTd0相容的充要条件是存在非负实数 α 1 , α 2 , ⋯   , α r , \alpha_{1}, \alpha_{2}, \cdots, \alpha_{r}, α1,α2,,αr, 使得 a = ∑ i = 1 r α i b i \boldsymbol{a}=\sum_{i=1}^{r} \alpha_{i} \boldsymbol{b}_{i} a=i=1rαibi.

引理 2 (Gordan 引理) 设 b i ∈ R n ( i = 1 , 2 , ⋯   , r ) . \boldsymbol{b}_{i} \in \mathbf{R}^{n}(i=1,2, \cdots, r) . biRn(i=1,2,,r). 线性不等式组
b i T d < 0 , i = 1 , 2 , ⋯   , r , d ∈ R n \boldsymbol{b}_{i}^{\mathrm{T}} \boldsymbol{d}<0, \quad i=1,2, \cdots, r, \boldsymbol{d} \in \mathbf{R}^{n} biTd<0,i=1,2,,r,dRn
无解的充要条件是 b i ( i = 1 , 2 , ⋯   , r ) \boldsymbol{b}_{i}(i=1,2, \cdots, r) bi(i=1,2,,r) 线性相关, 即存在不全为 0 的非负实数 α i ( i = 1 , 2 , ⋯   , r ) , \alpha_{i}(i=1,2, \cdots, r), αi(i=1,2,,r), 使得
∑ i = 1 r α i b i = 0 \sum_{i=1}^{r} \alpha_{i} \boldsymbol{b}_{i}=\mathbf{0} i=1rαibi=0

下面的引理可以认为是一个集合最优性条件

引理 3 设 x ∗ \boldsymbol{x}^{*} x 是不等式约束问题(2) 的一个局部极小点, I ( x ∗ ) = { i ∣ g i ( x ∗ ) = 0 , i = 1 , 2 , ⋯   , m } . \mathcal{I}\left(\boldsymbol{x}^{*}\right)=\left\{i | g_{i}\left(\boldsymbol{x}^{*}\right)=0, i=1,2, \cdots, m\right\} . I(x)={igi(x)=0,i=1,2,,m}. 假设 f ( x ) f(\boldsymbol{x}) f(x) g i ( x ) ( i ∈ g_{i}(\boldsymbol{x})(i \in gi(x)(i I ( x ∗ ) ) \left.\mathcal{I}\left(\boldsymbol{x}^{*}\right)\right) I(x)) x ∗ \boldsymbol{x}^{*} x 处可微, 且 g i ( x ) ( i ∈ I \ I ( x ∗ ) ) g_{i}(\boldsymbol{x})\left(i \in \mathcal{I} \backslash \mathcal{I}\left(\boldsymbol{x}^{*}\right)\right) gi(x)(iI\I(x)) x ∗ \boldsymbol{x}^{*} x 处连续, 则问题(2)的可行方向集 F 与下降方向集 S \mathcal{S} S 的交集是空集, 即 F ∩ S = ∅ \mathcal{F} \cap \mathcal{S}=\varnothing FS=
其中
F = { d ∈ R n ∣ ∇ g i ( x ∗ ) T d > 0 , i ∈ I ( x ∗ ) } S = { d ∈ R n ∣ ∇ f ( x ∗ ) T d < 0 } \begin{array}{l} \mathcal{F}=\left\{\boldsymbol{d} \in \mathbf{R}^{n} | \nabla g_{i}\left(\boldsymbol{x}^{*}\right)^{\mathrm{T}} \boldsymbol{d}>0, i \in \mathcal{I}\left(\boldsymbol{x}^{*}\right)\right\} \\ \mathcal{S}=\left\{\boldsymbol{d} \in \mathbf{R}^{n} | \nabla f\left(\boldsymbol{x}^{*}\right)^{\mathrm{T}} \boldsymbol{d}<0\right\} \end{array} F={dRngi(x)Td>0,iI(x)}S={dRnf(x)Td<0}

不等式约束的KKT条件

定理 8.3 (KKT 条件) 设 x ∗ \boldsymbol{x}^{*} x 是不等式约束问题 (2) 的局部极小点, 有效约束集 I ( x ∗ ) = { i ∣ g i ( x ∗ ) = 0 , i = 1 , 2 , ⋯   , m } . \mathcal{I}\left(\boldsymbol{x}^{*}\right)=\left\{i | g_{i}\left(\boldsymbol{x}^{*}\right)=0, i=1,2, \cdots, m\right\} . I(x)={igi(x)=0,i=1,2,,m}. 并设 f ( x ) f(\boldsymbol{x}) f(x) g i ( x ) ( i = 1 , 2 , ⋯   , m ) g_{i}(\boldsymbol{x})(i=1,2, \cdots, m) gi(x)(i=1,2,,m) x ∗ \boldsymbol{x}^{*} x 处可微. 若向量组 ∇ g i ( x ∗ ) ( i ∈ I ( x ∗ ) ) \nabla g_{i}\left(\boldsymbol{x}^{*}\right)\left(i \in \mathcal{I}\left(\boldsymbol{x}^{*}\right)\right) gi(x)(iI(x))线性无关,则存在向量 λ ∗ = ( λ 1 ∗ , λ 2 ∗ , ⋯   , λ m ∗ ) T \boldsymbol{\lambda}^{*}=\left(\lambda_{1}^{*}, \lambda_{2}^{*}, \cdots,\lambda_{m}^{*}\right)^{\mathrm{T}} λ=(λ1,λ2,,λm)T 使得
{ ∇ f ( x ∗ ) − ∑ i = 1 m λ i ∗ ∇ g i ( x ∗ ) = 0 g i ( x ∗ ) ⩾ 0 , λ i ∗ ⩾ 0 , λ i ∗ g i ( x ∗ ) = 0 , i = 1 , 2 , ⋯   , m \left\{\begin{array}{l} \nabla f\left(\boldsymbol{x}^{*}\right)-\sum_{i=1}^{m} \lambda_{i}^{*} \nabla g_{i}\left(\boldsymbol{x}^{*}\right)=\mathbf{0} \\ g_{i}\left(\boldsymbol{x}^{*}\right) \geqslant 0, \quad \lambda_{i}^{*} \geqslant 0, \quad \lambda_{i}^{*} g_{i}\left(\boldsymbol{x}^{*}\right)=0, \quad i=1,2, \cdots, m \end{array}\right. {f(x)i=1mλigi(x)=0gi(x)0,λi0,λigi(x)=0,i=1,2,,m

一般约束问题

现在考虑下面的一般约束优化问题的最优性条件:
min ⁡ f ( x ) , x ∈ R n  s.t.  h i ( x ) = 0 , i = 1 , 2 , ⋯   , l g i ( x ) ⩾ 0 , i = 1 , 2 , ⋯   , m (3) \begin{array}{ll} \min f(\boldsymbol{x}), & \boldsymbol{x} \in \mathbf{R}^{n} \\ \text { s.t. } & h_{i}(\boldsymbol{x})=0, i=1,2, \cdots, l \\ & g_{i}(\boldsymbol{x}) \geqslant 0, \quad i=1,2, \cdots, m \end{array} \qquad \tag{3} minf(x), s.t. xRnhi(x)=0,i=1,2,,lgi(x)0,i=1,2,,m(3)
记可行域为 D = { x ∈ R n ∣ h i ( x ) = 0 , i ∈ E , g i ( x ) ⩾ 0 , i ∈ I } , \mathcal{D}=\left\{\boldsymbol{x} \in \mathbf{R}^{n} | h_{i}(\boldsymbol{x})=0, i \in \mathcal{E}, g_{i}(\boldsymbol{x}) \geqslant 0, i \in \mathcal{I}\right\}, D={xRnhi(x)=0,iE,gi(x)0,iI}, 指标集
E = { 1 , 2 , ⋯   , l } , I = { 1 , 2 , ⋯   , m } \mathcal{E}=\{1,2, \cdots, l\}, \mathcal{I}=\{1,2, \cdots, m\} E={1,2,,l},I={1,2,,m}
同理有拉格朗日函数:
L ( x , μ , λ ) = f ( x ) − ∑ i = 1 l μ i h i ( x ) − ∑ i = 1 m λ i g i ( x ) L(\boldsymbol{x}, \boldsymbol{\mu ,\lambda})=f(\boldsymbol{x})-\sum_{i=1}^{l} \mu_{i} h_{i}(\boldsymbol{x}) - \sum_{i=1}^{m} \lambda_{i} g_{i}(\boldsymbol{x}) L(x,μ,λ)=f(x)i=1lμihi(x)i=1mλigi(x)

把定理 1 和定理 3 结合起 来即 得到一般约束问题 (3) 的KKT 一阶必要条件。

定理 4 (KKT 一阶必要条件) 设 x ∗ \boldsymbol{x}^{*} x 是一般约束问题的局部极小点,在 x ∗ \boldsymbol{x}^{*} x 处的有效约束集为
S ( x ∗ ) = E ∪ I ( x ∗ ) = E ∪ { i ∣ g i ( x ∗ ) = 0 , i ∈ I } S\left(\boldsymbol{x}^{*}\right)=\mathcal{E} \cup \mathcal{I}\left(\boldsymbol{x}^{*}\right)=\mathcal{E} \cup\left\{i | g_{i}\left(\boldsymbol{x}^{*}\right)=0, i \in \mathcal{I}\right\} S(x)=EI(x)=E{igi(x)=0,iI}

并设 f ( x ) , h i ( x ) ( i ∈ E ) f(\boldsymbol{x}), \quad h_{i}(\boldsymbol{x})(i \in \mathcal{E}) f(x),hi(x)(iE) g i ( x ) ( i ∈ I ) g_{i}(\boldsymbol{x})(i \in \mathcal{I}) gi(x)(iI) x ∗ \boldsymbol{x}^{*} x 处可微. 若向量组

∇ h i ( x ∗ ) ( i ∈ E ) , ∇ g i ( x ∗ ) ( i ∈ I ( x ∗ ) ) \nabla h_{i}\left(\boldsymbol{x}^{*}\right)(i \in \mathcal{E}), \nabla g_{i}\left(\boldsymbol{x}^{*}\right)\left(i \in \mathcal{I}\left(\boldsymbol{x}^{*}\right)\right) hi(x)(iE),gi(x)(iI(x))

线性无关, 则存在向量 ( μ ∗ , λ ∗ ) ∈ R l × R m ,  其中  μ ∗ = ( μ 1 ∗ , μ 2 ∗ , ⋯   , μ l ∗ ) T , λ ∗ = ( λ 1 ∗ , λ 2 ∗ , ⋯   , λ m ∗ ) T , \left(\boldsymbol{\mu}^{*}, \boldsymbol{\lambda}^{*}\right) \in \mathbf{R}^{l} \times \mathbf{R}^{m}, \text { 其中 } \boldsymbol{\mu}^{*}=\left(\mu_{1}^{*}, \mu_{2}^{*}, \cdots, \mu_{l}^{*}\right)^{\mathrm{T}}, \boldsymbol{\lambda}^{*}=\left(\lambda_{1}^{*}, \lambda_{2}^{*}, \cdots, \lambda_{m}^{*}\right)^{\mathrm{T}}, (μ,λ)Rl×Rm, 其中 μ=(μ1,μ2,,μl)T,λ=(λ1,λ2,,λm)T,

使得
{ c ∇ f ( x ∗ ) − ∑ i = 1 l μ i ∗ ∇ h i ( x ∗ ) − ∑ i = 1 m λ i ∗ ∇ g i ( x ∗ ) = 0 h i ( x ∗ ) = 0 , i ∈ E g i ( x ∗ ) ⩾ 0 , λ i ∗ ⩾ 0 , λ i ∗ g i ( x ∗ ) = 0 , i ∈ I (4) \begin{cases}{c} \nabla f\left(\boldsymbol{x}^{*}\right)-\sum_{i=1}^{l} \mu_{i}^{*} \nabla h_{i}\left(\boldsymbol{x}^{*}\right)-\sum_{i=1}^{m} \lambda_{i}^{*} \nabla g_{i}\left(\boldsymbol{x}^{*}\right)=\mathbf{0} \\ h_{i}\left(\boldsymbol{x}^{*}\right)=0, i \in \mathcal{E} \\ g_{i}\left(\boldsymbol{x}^{*}\right) \geqslant 0, \\ \quad \lambda_{i}^{*} \geqslant 0, \\ \quad \lambda_{i}^{*} g_{i}\left(\boldsymbol{x}^{*}\right)=0, \quad i \in \mathcal{I} \end{cases} \qquad \tag{4} cf(x)i=1lμihi(x)i=1mλigi(x)=0hi(x)=0,iEgi(x)0,λi0,λigi(x)=0,iI(4)

(1) 式 (4)称为 KKT 条件, 满足这一条件的点 x ∗ \boldsymbol{x}^{*} x 称为 KKT点. ( x ∗ , ( μ ∗ , λ ∗ ) ) \left(\boldsymbol{x}^{*},\left(\boldsymbol{\mu}^{*}, \boldsymbol{\lambda}^{*}\right)\right) (x,(μ,λ)) 称为 K K T \mathrm{KKT} KKT 对, 其中 ( μ ∗ , λ ∗ ) \left(\boldsymbol{\mu}^{*}, \boldsymbol{\lambda}^{*}\right) (μ,λ) 称为问题的拉格朗日乘子. 通常 KKT 点、KKT 对和 KKT 条件可以不加区别的使用。
(2) λ i ∗ g i ( x ∗ ) = 0 ( i ∈ I ( x ∗ ) ) \quad \lambda_{i}^{*} g_{i}\left(\boldsymbol{x}^{*}\right)=0\left(i \in \mathcal{I}\left(\boldsymbol{x}^{*}\right)\right) λigi(x)=0(iI(x)) 称为互补性松他条件. 这意味着 λ i ∗ \lambda_{i}^{*} λi g i ( x ∗ ) g_{i}\left(\boldsymbol{x}^{*}\right) gi(x) 中至少有一个必为 0. 0 . 0. 若二者中的一个为0, 而另一个严格大于0,则称为满足严格互补性松弛条件。

例子

考虑优化问题
m i n f ( x ) = − 2 x 1 2 − x 2 2 s . t . x 1 2 + x 2 2 − 2 = 0 − x 1 2 + x 2 2 ≥ 0 x 1 2 , x 2 2 ≥ 0 min f(x) = -2x_{1}^{2} - x_{2}^{2} \\ s.t. \quad x_1^2 + x_2^2 - 2 =0 \\ - x_1^2 + x_2^2 \geq 0 \\ x_1^2, x_2^2 \geq 0 minf(x)=2x12x22s.t.x12+x222=0x12+x220x12,x220
试验证 x ∗ = ( 1 , 1 ) T x^* = (1,1)^T x=(1,1)T为KKT点,并求出问题的KKT对。

:计算

∇ f ( x ∗ ) = ( − 4 x 1 − 2 x 2 ) ∣ x = x ∗ = ( − 4 − 2 ) , ∇ h ( x ∗ ) = ( 2 2 ) , ∇ g 1 ( x ∗ ) = ( − 1 1 ) \nabla f\left(\boldsymbol{x}^{*}\right)=\left.\left(\begin{array}{l} -4 x_{1} \\ -2 x_{2} \end{array}\right)\right|_{\boldsymbol{x}=\boldsymbol{x}^{*}}=\left(\begin{array}{l} -4 \\ -2 \end{array}\right), \quad \nabla h\left(\boldsymbol{x}^{*}\right)=\left(\begin{array}{l} 2 \\ 2 \end{array}\right), \quad \nabla g_{1}\left(\boldsymbol{x}^{*}\right)=\left(\begin{array}{c} -1 \\ 1 \end{array}\right) f(x)=(4x12x2)x=x=(42),h(x)=(22),g1(x)=(11)

∇ f ( x ∗ ) − μ ∗ ∇ h ( x ∗ ) − λ 1 ∗ ∇ g 1 ( x ∗ ) = 0 \nabla f\left(\boldsymbol{x}^{*}\right)-\mu^{*} \nabla h\left(\boldsymbol{x}^{*}\right)-\lambda_{1}^{*} \nabla g_{1}\left(\boldsymbol{x}^{*}\right)=\mathbf{0} f(x)μh(x)λ1g1(x)=0
解得 μ ∗ = − 1.5 , λ 1 ∗ = 1. \mu^{*}=-1.5, \lambda_{1}^{*}=1 . μ=1.5,λ1=1. 再令 λ 2 ∗ = λ 3 ∗ = 0 , \lambda_{2}^{*}=\lambda_{3}^{*}=0, λ2=λ3=0,
{ ∇ f ( x ∗ ) − μ ∗ ∇ h ( x ∗ ) − ∑ i = 1 3 λ i ∗ ∇ g i ( x ∗ ) = 0 λ i ∗ g i ( x ∗ ) = 0 , λ i ⩾ 0 , i = 1 , 2 , 3 \left\{\begin{array}{l} \nabla f\left(\boldsymbol{x}^{*}\right)-\mu^{*} \nabla h\left(\boldsymbol{x}^{*}\right)-\sum_{i=1}^{3} \lambda_{i}^{*} \nabla g_{i}\left(\boldsymbol{x}^{*}\right)=\mathbf{0} \\ \lambda_{i}^{*} g_{i}\left(\boldsymbol{x}^{*}\right)=0, \lambda_{i} \geqslant 0, i=1,2,3 \end{array}\right. {f(x)μh(x)i=13λigi(x)=0λigi(x)=0,λi0,i=1,2,3
这表明 x ∗ \boldsymbol{x}^{*} x K K T \mathrm{KKT} KKT 点, ( x ∗ , ( μ ∗ , λ ∗ ) ) \left(\boldsymbol{x}^{*},\left(\mu^{*}, \boldsymbol{\lambda}^{*}\right)\right) (x,(μ,λ)) K K T \mathrm{KKT} KKT 对, 其中 μ ∗ = − 1.5 , λ ∗ = ( 1 , 0 , 0 ) T \mu^{*}=-1.5,\boldsymbol{\lambda}^{*}=(1,0,0)^{\mathrm{T}} μ=1.5λ=(1,0,0)T

注记

  • 一般而言,问题(3)的KKT点不一定是局部极小点,但当问题是凸优化问题时,KKT点、局部极小点、全局极小点是等价的。

  • 凸优化问题是指(3)中的目标函数 f ( x ) f(x) f(x)是凸函数,约束条件 h i ( x ) h_i(x) hi(x)是线性函数, g i ( x ) g_i(x) gi(x)是凹函数。

  • 定理 5 ( x ∗ , μ ∗ , λ ∗ ) \left(\boldsymbol{x}^{*},\mu^{*}, \boldsymbol{\lambda}^{*}\right) (x,μ,λ)是凸优化问题的KKT点,则 x ∗ x^* x必为该问题全局极小点。

  • 鞍点不仅是KKT点,也是全局极小点。鞍点一定是KKT点,反之不一定。

你可能感兴趣的:(最优化方法)