对偶理论说明（深入理解）

我们考虑只有一个不等式约束的优化问题：

则问题的最优值可表示为：

这种最优值的表示方法不利于理解对偶性，因此定义一个集合：

 是一个由所有在定义域内的 所对应的函数值所构成点的集合，利用这个集合可以重写原式最优解为：

 其中 表示原式的 的点集， 表示 的点集，在有定义的点集内取一个最小的 对应于原问题最优值的描述，因为要求的就是 。

现在假设   在 二维空间的图像如下图所示，并在图中作出了   对应的位置。

先写出拉格朗日公式：

用刚才点集形式来表示就是：

所以拉格朗日对偶函数为：

将直线：   绘制在之前得到的  平面中，如下图所示：

首先，这里的 ，而且我们发现 ： ， 就是拉格朗日函数，上图中直线过点集的一个极小点，所以就是：，也就是 是对偶函数。

我们先是要找到一个  ，

在可行域范围内进行上下移动，使得    最小（就是最小化拉格朗日函数 ），这里需要满足： ，就直线过 就可以，所以先列出两种情况：

可以容易地得出斜率比较大和斜率比较小时， 可行域内最小   就是与 的两个“凸出”边缘相切的时候。

到这里有一种情况已经呼之欲出了，没错，就是直线刚好与   “凸出”的两个边缘同时相切的时候。现在讲三种情况都绘制在同一张图上，如下图：

我们要从一簇   中找出一个最大的这个任务也完成了，很显然就是图中的 ，这就是对偶最优。

可以从图中看出，在这个 下是弱对偶性，绿色那段代表的即是最优对偶间隙  。

如何不出现绿色区域，使得 ：

我们上面给出的   显然是一个非凸集，现在将   更换为一个凸集，如下图：

 很显然，在  是是凸集的情况下，最优对偶间隙为 ，成为强对偶。

问题：只有是凸集才满足强对偶吗？

答案当然是否定的，我们随便可以给出一个反例，比如下图这个丑丑的爪子状的东西是个非凸集，但是最优对偶间隙还是 ，因此我们可以得出结论：

  是凸集是强对偶的充分非必要条件。这就是有名的Slater条件了。

至于强对偶的充分必要条件究竟是什么，这就涉及到另外一个更加有名的KKT条件了。