手推支持向量机06-约束优化问题-对偶关系的几何解释

目录

1.写在前面

2.模型假设和定义

3.p*和d*的集合表示

4.p*的几何表示

5.g(λ)和d*的几何表示

6.总结

---

1.写在前面

        上一小结我们证明了弱对偶关系，这篇博客我们从几何关系上思考对偶关系。、

2.模型假设和定义

        为了解释方便，我们对原问题进行了部分简化，目标函数依然写成：，定义D为其定义域，并且，x∈D。

        有了上面简化函数，我们可以直接写他的拉格朗日函数表达形式：L(x,λ)=f(x)+λ，λ≥0，然后我们假设原问题的最优解用表示，并且，对偶最优解我们表示成，。我们思考怎么把一个优化问题以及他的对偶问题映射到一个图上面（二维坐标系下）。我们假设一个G是一个点的集合，是二维坐标的一个区域，我们令。G我们用下面这幅图区域表示：为了不失普适性，我们用一个非凸函数（一个爱心）代表集合G在坐标系内的分布。

3.p*和d*的集合表示

        有了上面那个图之后，我们思考P*,d*怎么用集合的方式来进行解答，再次简化，我们进行符号替换：

        P*应该怎么表示呢？，推出，此处说明，inf表示下确界，可以理解为几何意义上的取”最低点“。

        看完了原问题的最优解，我们再看看其对偶问题(dual problem)的解，d*怎么表示呢？，推出：

        问题就转化为了g(λ)怎么用集合表示出来。g(λ)=min(t+λu)：

4.p*的几何表示

        我们通过构造一个集合G，然后借助G，表达p*，d*。我们只写出这个集合意义还不大，我们想着怎么在图上进行表示出来。我们的主要目的是进行几何表示。G我们假设已经画出来了，在这个假设前提下。p*和g(λ)应该怎么表达呢？

        首先看一下p*的表示：，inf表示下界。

5.g(λ)和d*的几何表示

        u,t取值只能在G上面取到，t+λu=0是一条直线，而且是过原点的一条直线。-λ就是斜率，斜率小于0。

        我们给定一个λ之后，可以得到一条直线，这条直线可以上下平移。往下平移是没有意义的，我们要和G发生关系，往上平移才可能相交。u等于0的时候，t=△，△就是直线与纵坐标相交的点的截距。当假定△1，开始相切。通过平移可以与G相交得到无数多个△，一直到最后相切出去，比如这个时候是△100，也就是说我们通过不停的相切，得到一个集合{△1，△2，△3，...，△100}。那么我们的g(λ)已经很明显了就是上面那个集合的下确界，也即是△1。g(λ)=△1，我们可以在图上进行标注，这个时候我们已经得到了p*和g(λ)的几何表示。

        g(λ)毕竟不是我们最后的d*，通过我们上面推导我们得到：，λ我们上面也说过是决定了斜率，也就是说我们可以找到一个斜率，当这条线同时经过G中左下角和右下角两个点的时候，g(λ)最大。两个点同时相切时候才能保证g(λ)最大，以为过大或者过小都会提前切到两个点其中一点，也就是直线最晚和G发生接触的下边界。

6.总结

        我们可以得到g(λ)一定是小于等于p*的，d*一定是小于等于p*的。这个也就是我们所说的弱对偶关系，我们可以想一下什么时候，d*=p*，也就是强对偶关系成立呢？假如G是下图中的一个凸函数，p*就会等于d*，强对偶关系的证明首先需要证明原问题是一个凸优化问题，另外还需要个月slater条件，通过这两个条件才可以推出强对偶关系d*=p*。slater条件也并不是充要条件，有一些凸优化问题，满足相对偶关系，但是却满足slater条件。slater条件是一个充分非必要条件，我们svm问题是一个二次规划问题，是天然满足slater条件的，二次规划问题一定满足强对偶关系。