凸优化－对偶问题

05 November 2015

1. 引言

凡心所向，素履所往，生如逆旅，一苇以航。

很高兴阿森纳能在欧冠上战胜拜仁，在虎扑上看到这样的一句话，颇有感触，借来作为这篇博文的开始，生活中我们需要一些勇气去追寻自己的理想。回到本篇内容上，对偶是个神奇的东西，从文学角度而言，对偶和对仗属于一种修辞手法，即用字数相等，语义对称的方法来表征想法或抒发情感。“凡心所向，素履所往，生如逆旅，一苇以航”或者“棋逢对手，将遇良才”都可看成是一种对偶。

但是，本文是要阐述在数学问题上的对偶问题，它是优化问题中非常重要的方法，类似于文学的对偶，也是一种配对方式，只不过是将某种数学结构 转换为另一种对等的数学结构 。在优化问题中，可以将非凸问题转化为凸优化问题进行求解。虽然文学上和数学上表达对偶的意思相差甚远，但是我觉得二者在各自领域的重要性是可以比拟的。

update: 在完成本篇博文时，拜仁5:1战胜阿森纳，小组出线堪忧。

说到对偶问题，我们先从线性规划谈起，考虑以下简单的线性规划（LP）问题，我们如何求得函数的下界：

实际上，我们可以从两个角度求解这个问题：首先，我们可以采用图解法找寻问题的解。下图中蓝线代表 的直线，黑线表示约束 ，我们可以通过移动蓝线的位置，使得蓝线右上方的所有点 和 满足约束，因此，直至蓝线移至红线位置才能满足上述LP问题的约束，而黄线代表的 则不能满足约束，因为点 不满足 的条件。

因此，通过作图，移动目标函数直线的位置，我们都能获得上述LP问题的最小值，即为2。

同样，我们也可以利用以下变换获得目标函数的最小值：

很明显， 的最小值为2。如果我们泛化上述LP问题为：

我们如何求解？按照变换方法，我们可以获得：
（
因此，我们只要使得 ，同时 ，那么上述问题的最优解为 。这里 为 的下界，即 永远成立，所以，我们应当使得下界最大化，找到满足约束条件 和 的最大值 ，才能求得左式的最小值。

综上所述，上述LP问题就转换为求下面形式的最大值：

我们即称上述变换为原问题（Primal）的对偶（dual）问题。

2. 线性规划问题的对偶问题

对于一般形式的线性规划问题:

我们可以获得其对偶问题：

因为：

如果 满足 ，那么我们可以获得LP问题解得下界 。

3. 拉格朗日函数

根据LP对偶问题的构建方法，我们可以令 ，其中 。因为， 且对于 ，因此， 。

如果我们假设集合 为原问题的解集合， 为最优解，那么对于任意 和 ，我们可以获得：

对于上式， 为关于 的线性函数，因此，如果 不等于0，那么对于所有 ，函数 最小值为 ，所以，想要保证求得原问题的最小值，我们必须保证 ，此时， 。

综上所述，我们可以获得函数 的一般形式：

现在我们最大化函数 ，获得原问题的紧致下界（tightest bound），这与上面之前定义的对偶问题完全一致。同时，这种变换或者解释方法可以适用于任意优化问题上，甚至是非凸优化问题。我们可以根据有约束的优化问题获得函数 ，然后求解 得到函数 ，即为原问题的对偶问题。

综上所述，对于一般有约束的优化问题，如下：

无论 是否为凸函数，我们都可以定义拉格朗日函数（Lagrangian）为：

其中， ，同时，定义朗格朗日函数 。意味着对于任意可行解 ，且 ， 。下图是Boyd凸优化一书中给出拉格朗日函数的实例图：

图中，实线表示函数 ，虚线表示函数 ，为约束，点线表示不同 下的函数 。根据约束信息，我们可以获得函数可行解域为[-0.46,0.46]，在该区域下 。

同样，如果我们假设集合 为原问题的解集合， 为最优解，那么对于任意 ，最小化函数 可以获得函数下界：

我们称函数 为拉格朗日对偶函数（Lagrange dual function），对于对偶可行解 ，它给定了 的下界（其中 ），我们最大化 ，即可获得 的逼近解。如下图，虚线表示原问题最优解 ，实线表征不同 下 的值，可以看出，最大化 可以逼近 ，（图中的 为 ）：

3. 对偶函数实例：二次规划

这里，我们用二次函数的优化问题作为一个例子来说明如何获得拉格朗日对偶函数，我们定义二次规划为：

其中， 。

因此，拉格朗日函数为 ，对于形如 的二次函数，我们可以获得函数的根为 ，即 ，函数 的最小值为 。

所以，我们可以获得拉格朗日对偶函数 ，其中 ， 为任意值。

4. 拉格朗日对偶问题

拉格朗日对偶问题是指对于原问题：