primal and dual(原问题和对偶问题)

定义：

这是优化界的一种方法，对偶问题为原问题提供了一个下界。primal和dual问题本来是会存在一个dual gap。如果有个比较强的约束条件（KTT）（when the problem is convex and satisfies ），那么dual gap=0.这叫做强对偶，那么就可以根据dual问题直接求得primal问题的解。而一般dual gap=primal-dual>0，称为弱对偶性。

线性：

如果原问题有n个变量，m个限制条件，那么对偶问题就有m个对偶变量，n个限制条件。

即使初始问题是non-convex，但是拉格朗日dual problem是convex的。

拉格朗日的乘子就是拉格朗日对偶变量。

点击打开链接