拉格朗日对偶

Lagrange优化问题：

  标准形式的优化问题（原问题）：
  
  
其中，自变量。设问题的定义域是非空集合，优化问题的最优值为。则问题的Lagrange函数：
  
其中定义域为

Lagrange对偶函数：

  定义Lagrange对偶函数：
  
      
对偶函数为Lagrange函数关于取得的最小值：即对，，可以理解成把当作常量，关于取得的最小值。

最优值的下界：

  对偶函数构成了原问题最优值的下界：即对任意和都使下式成立
  
证明：
  设为满足原问题的任意可行点，即且。根据假设，，则，即
  
  
  
由于每一个可行点都满足。因此不等式成立。但是当时没有意义，只有当且即时，对偶函数才能给出的一个非平凡下界。

Lagrange对偶问题：

  对任意一组，其中，对偶函数给出了优化问题的最优值的一个下界，因此我们可以得到和参数相关的一个下界，为得到最好的下界，表述为优化问题：
  
  

弱对偶性：

  Lagrange对偶问题的最优值，我们用表示，这是通过Lagrange函数得到的原问题的最优值的最好下界。特别的，
  
这个不等式成立，这个性质称为弱对偶性。

强对偶性

  如果等式：
  
成立，即最优对偶间隙为零，那么强对偶性成立。这说明从Lagrange对偶函数得到的最好下界是紧的。
  对于一般的优化问题，强对偶性通常不成立，但是若主问题为凸优化问题，即为凸函数，为仿射函数，且其可行域中至少有一点使不等式约束严格成立，则此时强对偶性成立。