图解非线性优化中不等式约束下的KKT条件

1. 问题定义

非线性优化中的不等式约束问题，定义如下：

这里以二维的定义域为例，f(x)是一个凸函数，g(x)=0定义了二维空间中的一个封闭曲线。

2. 最优解位于可行域边界时

首先要确保不等式约束转化为大于等于0的形式。同时，由于边界的g(x)=0，要使得图中大于0的可行域在边界内，如图中所示，g(x)的梯度方向（函数的最快增长方向）是指向内侧。由于我们是要最小化目标函数，那么在这样一个封闭的可行域下，由于目标函数是凸的，那么我们要尽可能的靠近可行域外的最优解（这里的最优解指的是无约束情况下），也就是要朝着目标函数的负梯度方向去走，那么临界的情况就是图中所示的情况。这是因为如果我们没有到达图中所示的位置，那么我们一定还可以朝着目标函数的负梯度方向走一点，使得目标函数更小。临界的位置上，从梯度的角度来看，就是目标函数的负梯度方向朝里与g(x)的梯度方向相反，也即目标函数的梯度方向与g(x)的梯度方向一致。

3. 最优解位于可行域内时

当最优解位于可行域内时其实就类似与无约束的优化问题。只要令f(x)的梯度等于0就可求得最优解。也可以看成是μ=0.

4. 总结

综合上述的两种情况，根据与拉格朗日函数的对应关系，可以得出非线性优化中不等式约束下的KKT条件。