Lagrange乘子法

简单讲下拉格朗日乘子法

考虑标准形式的优化问题：

minimize

subject to

x定义域为所有和的定义域交集，记为D。

首先定义Lagrange函数L：

然后定义Lagrange对偶函数g：

结论1：注意上面的对偶函数g，其参数为和。它的定义域规定为， inf的括号内的函数，若把x看作常数，其实是关于和线性函数。而线性函数既是凸函数又是凹函数，且一系列凹函数的逐点下确界函数仍然是凹函数（见《凸优化》第3.2.3）。故函数g一定是凹函数。

结论2：设上面的优化问题最优值为，则对任意都成立。

证明：设是上面优化问题的一个可行点（即且满足等式约束和不等式约束），则

.

这是因为，因此有

.

由于每个可行点都满足，因此得证。

 由上面两个结论，即可把一个普通问题转换为求下面的对偶问题：

maximize 

subject  to  

该问题被称为Lagrange对偶问题。有一个很好的性质就是函数g为凹函数且定义域为凸集，即对偶问题是凸问题。凸问题是很容易求解的，设其最优解为，并设，则由结论2有

也就是说对偶问题的解是原问题的解的下界。由下界最多只能粗略估计原问题解的范围，并不好用。《凸优化》说有很多研究成果表面，当原问题满足一定条件时，有。比如：

Slater条件：当原问题是凸问题时：（下面就是凸问题的定义，里面fi均为凸函数）

minimize 

subject to 

                

若存在某点x，使得则有。

此外，还有不少定理，当满足一定条件时就有。太复杂了，这里就不写了。