优化问题及其Lagrange对偶问题

本文图片来自http://shijuanfeng.blogbus.com/

优化和凸优化问题

优化问题

凸优化问题

Lagrange函数和对偶函数

对偶函数是凹函数

如果Lagrange函数关于 x 无下届，则对偶函数取值为 −∞ 。因为对偶函数是一族关于 (λ,v) 的仿射函数的逐点下确界，所以即使原问题不是凸的，对偶函数也是凹函数。

对偶函数是原问题最优值的下界

设 x˜ 是原文题的一个可行点，即 fi(x˜)≤0 且 hi(x˜)=0 。根据假设 λ≥0 ，

L(x˜,λ,v)=f0(x˜)+g(λ,v)=infx∈D∑i=1mλifi(x˜)+∑i=1pvihi(x˜)≤0∑i=1mλifi(x˜)+∑i=1pvihi(x˜)≤f0(x˜)L(x,λ,v)≤L(x˜,λ,v)≤f0(x˜)

由于每一个可行点 x˜ 都满足上式，得证。

Lagrange对偶问题

Lagrange对偶问题形式

Lagange对偶函数给出了原问题最优值 p∗ 的一个下界。下面求解从Lagrange函数得到的最好下界

maximize g(λ,v)subject to λ≥0

满足 λ≥0 和 g(λ,v)≥−∞ 的一组 (λ,v) 为 对偶可行解。
对偶问题的最优解称为 对偶最优解或 最优Lagrange乘子。

Lagrange对偶问题是凸优化问题

极大化的目标函数是凹函数，且约束集合是凸集。对偶问题的凸性和原问题是否是凸优化问题无关。

弱对偶和强对偶

弱对偶

强对偶和Slater条件

强对偶和弱化Slater条件

互补松弛性和KKT条件

互补松弛条件

由于求和项 ∑iλ∗ifi(x∗)=0 每一项都是非正，因此 λ∗ifi(x∗)=0, i=1,...,m.
它对任意原问题最优解和对偶问题最优解都成立（当对偶性成立时）。进一步地
λ∗o>0⟹fi(x∗)=0

KKT优化条件

总结起来

• 广义拉格朗日的梯度为零
• 所有关于 x 和KKT乘子的约束都满足
• 不等式约束显示的“互补松驰性”: λf(x)=0

凸优化问题的KKT条件

优化问题中的KKT条件为具有强队对偶性的必要条件，而对于凸优化问题，KKT条件则是充要条件。

参考资料

深入理解拉格朗日乘子法（Lagrange Multiplier) 和KKT条件http://blog.csdn.net/xianlingmao/article/details/7919597