(三)拉格朗日乘子法——对偶问题

给出不等式约束优化问题

minx f(x)s.t.   hi(x)=0, i=1,2,...,m           gj(x)≤0, j=1,2,...,n(1) (1) min x   f ( x ) s . t .       h i ( x ) = 0 ,   i = 1 , 2 , . . . , m                       g j ( x ) ≤ 0 ,   j = 1 , 2 , . . . , n

拉格朗日函数如下:

L(x,α,β)=f(x)+∑i=1mαihi(x)+∑j=1nβjgj(x)(2) (2) L ( x , α , β ) = f ( x ) + ∑ i = 1 m α i h i ( x ) + ∑ j = 1 n β j g j ( x )

其中， βj≥0 β j ≥ 0 。
根据以上可以得到一个重要结论：

f(x)=maxαβ;βi≥0L(x,α,β)>L(x,α,β)(3) (3) f ( x ) = max α β ; β i ≥ 0 L ( x , α , β ) > L ( x , α , β )

公式(3)证明如下:
公式(2)中满足公式(1)中的约束时候，则等式第2项为0，第3项加上条件 βj≥0 β j ≥ 0 有 ∑nj=1βjgj(x)⩽0 ∑ j = 1 n β j g j ( x ) ⩽ 0 ，该项等于0的时候， L(x,α,β) L ( x , α , β ) 取得最大值，此时 L(x,α,β)=f(x) L ( x , α , β ) = f ( x ) ，所以公式(3)成立.
所以，约束都融合到了一起而得到如下的无约束的优化目标：

minxf(x)=minxmaxα,β;βi≥0L(x,α,β) min x f ( x ) = min x max α , β ; β i ≥ 0 L ( x , α , β )

即对偶问题.