Lecture 011-1-Lagrangian relaxation

Outline

•Lagrangian multiplier

•Lagrangian relaxation

•Lagrangian dual

•Duality interpretation

•Lagrangian decomposition

•Case– FLP & GAP

•Dual search

-------------------

基本认识-拉格朗日

•拉格朗日提出的“乘子法”，即对带约束的极值问题引入乘子，从而得出以“乘子”为变量的dual问题。这个“乘子法”的思想在很多领域里都有应用。

••基本思想是对于一个带约束的极值问题，把这些约束进行分类，假设有些约束是容易处理的约束，有些是难处理的约束。我们想办法丢掉这些难处理的约束，同时又保留这些难处理约束的一些信息，把原来的难问题转化成一个容易的问题。这种转变的难点在于如何在丢掉难约束的同时又保留这些难约束的一些信息，这就需要引入“乘子”的概念，在目标函数中设置一个price或者penalty.

-------------------

基本认识-对偶

•对偶理论的基本出发点是因为原问题很难求解（或者无法求解），所以我们尝试从另外一个角度去看问题，把原问题进行转化，变成另外一种形式。•转变后的形式往往是个较为简单的问题形式，比较容易求解或分析，这样通过解决一个对偶问题，我们可以得到原问题的一些性质。

••原问题的对偶问题的显式表达，并不是所有的问题的对偶形式都可以显式地写出来，有很多问题是写不出显式的对偶问题。

•这里理解显式的概念，是closed-form，就是对偶问题中不能包含原问题的变量。到目前为止，LP,IP, QP的对偶都可以显式地表达出来。

•对偶问题的显式形式之所以写不出来，从Lagrangian relaxation的角度去看，松弛问题其实是可以写出来的，但是从一些松弛问题中找最好最紧的松弛，其实是一个集合中寻找下确界inf或者上确界sup的过程，这个有时候是写不出来的。

•在NLP教程中，NLP的Lagrangian dual不好，就是因为dual中仍然包含x，相比之下conjugate dual更好，因为conjugate dual得到的dual的形式更明确，不包含x.

-------------------