对偶理论说明(深入理解)

我们考虑只有一个不等式约束的优化问题:

则问题的最优值可表示为:

这种最优值的表示方法不利于理解对偶性,因此定义一个集合:

 是一个由所有在定义域内的 \large x 所对应的函数值所构成点的集合,利用这个集合可以重写原式最优解为:

 其中 \mu 表示原式的 f_{1}(x) 的点集,t 表示 f_{0}(x) 的点集,在有定义的点集内取一个最小的 t 对应于原问题最优值的描述,因为要求的就是 minf_{0}(x)

现在假设 G  在 二维空间的图像如下图所示,并在图中作出了 p^{*}  对应的位置。

对偶理论说明(深入理解)_第1张图片

先写出拉格朗日公式:

\large L(x,\lambda )= f_{0}(x)+\lambda f_{1}(x)

用刚才点集形式来表示就是:

\large L=t+\lambda \mu

所以拉格朗日对偶函数为:

将直线: \lambda \mu +t-b=0  绘制在之前得到的 t-u 平面中,如下图所示:

对偶理论说明(深入理解)_第2张图片

首先,这里的 \lambda< 0,而且我们发现 :b=\lambda \mu +tb 就是拉格朗日函数,上图中直线过点集的一个极小点,所以就是:min_{\lambda }L=g(\lambda ),也就是 b 是对偶函数。

我们先是要找到一个  \lambda

在可行域范围内进行上下移动,使得  b  最小(就是最小化拉格朗日函数 L ),这里需要满足:\mu ,t\in G ,就直线过 G 就可以,所以先列出两种情况:

对偶理论说明(深入理解)_第3张图片对偶理论说明(深入理解)_第4张图片

可以容易地得出斜率比较大和斜率比较小时, 可行域内最小 g(\lambda )  就是与 的两个“凸出”边缘相切的时候。

到这里有一种情况已经呼之欲出了,没错,就是直线刚好与 G  “凸出”的两个边缘同时相切的时候。现在讲三种情况都绘制在同一张图上,如下图:

对偶理论说明(深入理解)_第5张图片

我们要从一簇 g(\lambda )  中找出一个最大的这个任务也完成了,很显然就是图中的 d^{*} ,这就是对偶最优。

可以从图中看出,在这个 G 下是弱对偶性,绿色那段代表的即是最优对偶间隙  p^{*}-d^{*}

如何不出现绿色区域,使得 \large p^{*}-d^{*}=0

我们上面给出的 \large G  显然是一个非凸集,现在将 \large G  更换为一个凸集,如下图:

对偶理论说明(深入理解)_第6张图片

 很显然,在 \large G 是是凸集的情况下,最优对偶间隙为 \large 0,成为强对偶。

问题:只有是凸集才满足强对偶吗?

答案当然是否定的,我们随便可以给出一个反例,比如下图这个丑丑的爪子状的东西是个非凸集,但是最优对偶间隙还是 \large 0,因此我们可以得出结论:

\large G  是凸集是强对偶的充分非必要条件。这就是有名的Slater条件了。

至于强对偶的充分必要条件究竟是什么,这就涉及到另外一个更加有名的KKT条件了。

你可能感兴趣的:(凸优化,图像处理,算法)