非线性规划的对偶问题

线性规划的对偶问题很容易写出，但非线性规划的对偶问题有点不一样。

考虑非线性规划问题：

$$\begin{array}{rlr}\underset{\text{x}}{\min }& f(\mathbf{x})& \\ \text{s.t.}& g_i(\text{x})\ge 0,& i=1,\dots ,m,\\ & h_j(\text{x})=0,& j=1,\dots ,l,\\ & \text{x}\in D.& \end{array}$$

其对偶问题为：

$$\begin{array}{rl}\underset{\text{w,v}}{\max }& \inf \left\{f(\text{x})-\sum w_i{g}_i(\text{x})-\sum v_j{h}_j(\text{x})\right\}\\ \text{s.t.}& w_i\ge 0,i=1,\dots ,m.\end{array}$$

当原问题为凸规划时，其 KKT 条件的解就是该对偶问题的最优解，也是原问题的最优解，并且原问题与对偶问题的最优值相等。

非线性规划的对偶也广泛应用于机器学习的一些算法中（例如支持向量机）。