KKT条件推导

考虑优化问题

$$\min_x f(x)$$

$$s.t. \begin{align} & f_i(x)\leq 0, i=1,\cdots,m\\ &h_i(x)=0, i=1,\cdots, n\end{align}$$

拉格朗日函数

$$L(x,\lambda,\mu)=f(x) + \sum_{i=1}^{m}\lambda_if_i(x) + \sum_{i=1}^n\mu_ih_i(x)$$

拉格朗日函数对\(x\)取下确界得拉格朗日对偶函数

$$\begin{align}g(\lambda, \mu) &=\inf_x (L(x,\lambda, \mu))\end{align}$$

\(g(\lambda, \mu)\)给出了原问题最优解的一个下界，即

$$g(\lambda, \mu)\leq f(x^*)$$

其中\(x^*\)为原问题的一个最优解。

证: $$\begin{align}g(\lambda, \mu)= & \inf_x(L(x,\lambda,\mu))\\ \leq & L(x^*,\lambda, \mu)\\ =& f(x^*) + \sum_{i=1}^{m}\lambda_if_i(x^*) + \sum_{i=1}^n\mu_ih_i(x^*) \\ \leq & f(x^*) \end{align}$$

拉格朗日对偶问题

$$\max_{\lambda,\mu} g(\lambda, \mu)$$

$$s.t. \lambda_i\geq 0, i=1,\cdots,m$$

当是slater条件满足时，原问题与对偶问题具有相同的最优值，对偶间隙为0，特别的，当所有的不等式约束和等式约束都是仿射函数时，对偶间隙为零，此时KKT条件满足，假设\(x^*,(\lambda^*,\mu^*)\)分别为原问题和对偶问题的最优解，则有

$$f(x^*)=g(\lambda^*,\mu^*)$$

由此可得

$$\begin{align}f(x^*)= & g(\lambda^*,\mu^*)=\inf_x L(x,\lambda^*,\mu^*)\\ \leq & f_(x^*) + \sum_{i=1}^{m}\lambda_i^*f_i(x^*) + \sum_{i=1}^{n}\mu_i^*h_i(x^*)\\ \leq & f(x^*)\end{align}$$

由夹逼准则可得到

$$\sum_{i=1}^{m}\lambda_i^*f_i(x^*)=0$$

由上式还可得到 \(g(\lambda^*,\mu^*)\)为\(L(x,\lambda^*,\mu^*)在x=x^*处取得的最小值\)，故有

$$\nabla_{x^*}L=\nabla f(x^*) + \sum_{i=1}^{m}\lambda_i^*\nabla f_i(x^*) + \sum_{i=1}^{n}\mu_i^*\nabla h_i(x^*)=0$$

综上所述,KKT条件为

$$\nabla f(x^*) + \sum_{i=1}^{m}\lambda_i^*\nabla f_i(x^*) + \sum_{i=1}^{n}\mu_i^*\nabla h_i(x^*)=0$$

$$\sum_i\lambda_i^*f_i(x^*)=0$$

$$f_i(x^*)\leq 0, i=1,\cdots, m$$

$$h_i(x^*)=0, i=1,\cdots, n$$

$$\lambda_i\geq 0 ,i=1,\cdots,m$$