【优化】拉格朗日乘子法与KKT条件

一、无约束优化问题

• 首先考虑一个不带任何约束的优化问题：$$\underset{x}{\min }f(x)$$ 其中$x\in R^d$
• 根据Fermat定理，直接求解梯度等于0的方程：$${\nabla }_{x}f(x)=0$$
• 这个方程的解叫做函数$f(x)$的无条件极值，可能有多个，最小的就是$f(x)$的最小值。
• 下面的推导中，我们把上面方程的解称为：$f(x)$的全局最优解
• 如果没有解析解，可以使用梯度下降或牛顿方法等迭代的手段来使 x 沿负梯度方向逐步逼近极小值点。

二、等式约束优化问题

• 问题描述：$$\underset{x}{\min }f(x)$$$$s.t.g(x)=0$$其中x∈R^d.
• 二维平面如下图所示，约束条件在红线上：
  
• 从几何角度看，该问题的目标是在由方程$g(x)=0$确定的d-1维曲面上寻找能使目标函数$f(x)$最小化的点.
• 约束条件会将解的范围限定在一个可行域，此时$\nabla f(x)=0$的解不一定在这个可行域内，我们只需找到在可行域内使得$f(x)$最小的值即可，即：
  • 如果$\nabla f(x^{\ast })=0$的解$x^{\ast }$在约束区域内，那么$x^{\ast }$就是最优解 ，即全局最优解一定是约束条件下的最优解。
  • 如果约束条件下，$\nabla f(x)!=0$ ,即全局最优解没用落在约束区域内，那么就在约束区间中寻找最接近全局最优解的点作为束条件下的最优解。
    
    
• 为了更好的理解拉格朗日乘子法推导，这里先讨论一些梯度的含义：
  • 假设二维条件下的约束曲线为：$g(x,y)=0$,如上图的红线。其梯度为:$$\nabla g(x)=[\frac{\partial g(x,y)}{\partial x},\frac{\partial g(x,y)}{\partial y}]$$其含义为$g(x,y)=0$的法向量，正交于约束曲线，并且其指向$g(x,y)>0$的方向。
  • 也可以这么理解：$z=g(x,y)$，为一个二元函数，其图像是三维空间总的有个立体图形，则约束曲面($g(x,y)=0$)为：$z=g(x,y)$与$xoy$坐标面的交线。那么$z$的梯度为：$$\nabla z=\nabla g(x)=[\frac{\partial z}{\partial x},\frac{\partial z}{\partial y}]=[\frac{\partial g(x,y)}{\partial x},\frac{\partial g(x,y)}{\partial y}]$$其含义为函数值$z$增长最快的方向，即沿着$\nabla z$改变$(x,y)$,$z$增长最快。所以在$g(x,y)=0$的点沿着梯度方向走，$z$必定变大，所以梯度指向$g(x,y)>0$的方向。
  • 所以约束条件$g(x,y)=0$其实就是目标函数目标函数($f(x)$)定义域中的一个区域。目标函数可以写做： $z=f(x)$，即目标函数图像比约束条件多一个维度。
  • 根据上面梯度含义，如果$x$(向量)沿着一个与$-\nabla f(x)$方向夹角小于90的方向移动$f(x)$一定会减小。
    
    
• 根据上面性质我们得出：在最优点$x^{\ast }$，目标函数在该点的梯度$\nabla f(x^{\ast })$正交于约束曲面，即$\nabla g(x^{\ast })//\nabla f(x^{\ast })$。
  • 证明：反证法，如果在最优点$x^{\ast }$，$\nabla g(x^{\ast })$与$\nabla f(x^{\ast })$不平行，那么$g(x)$在$x^{\ast }$点的切线方向(记作$\Delta g(x^{\ast })$)与$\nabla f(x^{\ast })$的夹角不等于90度，
    • 当夹角小于90度，那么$-\Delta g(x^{\ast })$与$-\nabla f(x^{\ast })$夹角小于90度，那只要我们沿着切线反方向走$f(x)$函数值会下降。
    • 当夹角大于90度，那么$\Delta g(x^{\ast })$与$-\nabla f(x^{\ast })$夹角小于90度，那只要我们沿着切线方向走$f(x)$函数值会下降。
    • 总结：只要$\nabla f(x^{\ast })$与$\Delta g(x^{\ast })$不正交，沿着切线方向或方向$f(x)$函数值都会下降。
• 由此可知，在最优点$x^{\ast }$，梯度$\nabla g(x^{\ast })$和$\nabla f(x^{\ast })$的方向必相同或相反，即存在常数$\lambda$使得：$$\nabla f(x^{\ast })+\lambda \nabla g(x^{\ast })=0$$$\lambda =0$是为$\nabla f(x^{\ast })=0$的情况,即全局最优解在约束区域中。
• $\lambda$称为拉格朗日乘子，定义拉格朗日函数：$$L(x,\lambda )=f(x)+\lambda g(x)$$
• 求拉格朗日函数的无条件极值，即求下面方程组： $$\{\begin{array}{l}\frac{\partial L(x,\lambda )}{\partial x}=\nabla f(x)+\lambda \nabla g(x)=0\\ \\ \frac{\partial L(x,\lambda )}{\partial w}=g(x)=0\end{array}$$
• 由此可以看出原约束优化问题可转化为对拉格朗日函数$L(x,\lambda )$的无约束优化问题.

三、不等式约束问题

• 问题描述:$$\underset{x}{\min }f(x)$$$$s.t.g(x)\le 0$$其中x∈R^d.
• 二维情况，如下图：
  
• 此时有两种情况：(这里和其他人写的可能不一样，如果有错误欢迎指正)
  • 第一种情况：就是目标函数$f(x)$的无条件极值(全局最优解)落在约束区域($g(x)\le 0$)内，即下面公式有解：$$\{\begin{array}{l}\nabla f(x)=0\\ g(x)\le 0\end{array}$$那么这个解就是我们要求的约束区域上的最优解。
  • 第二种情况：就是目标函数$f(x)$的无条件极值落在约束区域外面，即在整个约束区域内$\nabla f(x)!=0$：
  • 这时约束条件的下最优解应尽量靠近无约束时的全局最优解，所以这种情况的约束条件下的最优解一定在边界上。
  • 那么怎样才算个最靠近全局最优解呢？假设$x^{\ast }$为这个要求的约束条件下的最优解，那么必定有：$\nabla f(x^{\ast })$的方向必与$\nabla g(x^{\ast })$相反，即存在常数$\lambda >0$使得:$$\nabla f(x^{\ast })+\lambda \nabla g(x^{\ast })=0$$为啥$\lambda >0$呢？我们先看一张具体的图：
    
    图中红色向量为$\nabla g(x)$，蓝色向量为$-\nabla f(x)$，因为$-\nabla f(x)$为目标函数减少最快的方向，那么它一定指向全局最优解，所以只有与$-\nabla f(x)$同$\nabla g(x)$向时，无论沿着边界往那个方向移动走$f(x)$都不会变小，$f(x)$要减小只有走出约束区域。
  • 两种情况的图：
    
• 现在用拉格朗日乘子法将上面两种情况统一起来：
  • 首先定义拉格朗日函数： $$L(x,\lambda )=f(x)+\lambda g(x)$$
  • 将两种情况统一如下：$$\{\begin{array}{l}\frac{\partial L(x,\lambda )}{\partial x}=\nabla f(x)+\lambda \nabla g(x)=0\\ g(x)\le 0\\ \lambda \ge 0\\ g(x)\lambda =0\end{array}$$
  • 分析：
    • $\lambda =0$时：对应第一种情况： $$\{\begin{array}{l}\nabla f(x)=0\\ g(x)\le 0\end{array}$$
    • $\lambda >0$时，则根据最后一个约束条件可知$g(x)=0$，对应第二种情况：$$\{\begin{array}{l}\nabla f(x)+\lambda \nabla g(x)=0\\ g(x)=0\\ \lambda >0\end{array}$$
• 一般很少求解下面方程来求最优解：$$\{\begin{array}{l}\frac{\partial L(x,\lambda )}{\partial x}=\nabla f(x)+\lambda \nabla g(x)=0\\ g(x)\le 0\\ \lambda \ge 0\\ g(x)\lambda =0\end{array}$$一般作为判断最优解的条件，即若$x^{\ast }$为最优解，那么必定满足上面方程，该方程组也叫做KKT条件。

四、多个约束问题

• 问题描述:$$\underset{x}{\min }f(x)$$$$\begin{gathered} s.t.h_i(x)=0,i=1,2\dots ,m \\ {g}_j(x)\le 0,j=1,2\dots .,n \end{gathered}$$其中x∈R^d.
• 引入拉格朗日乘子$\lambda =({\lambda }_1,{\lambda }_2,\dots ,{\lambda }_m)$和$\mu =({\mu }_1,{\mu }_2,\dots ,{\mu }_n)$，相应的拉格朗日函数为:$$L(x,\lambda ,\mu )=f(x)+\sum _{i=1}^m{\lambda }_i{h}_i(x)+\sum _{j=1}^n{\mu }_j{g}_j(x)$$KKT条件为：$$\{\begin{array}{l}\frac{\partial L(x,\lambda ,\mu )}{\partial x}=\nabla f(x)+{\sum }_{i=1}^m{\lambda }_i\nabla h_i(x)+{\sum }_{j=1}^n{\mu }_j\nabla g_j(x)=0\\ g_j(x)\le 0\\ {\mu }_j\ge 0\\ g_j(x){\mu }_j=0\end{array}$$