Lagrange函数,对偶问题,KKT条件

1. 原始问题

约束最优化问题的原始问题:

在这里插入图片描述
在这里插入图片描述

约束最优化问题转化为无约束最优化问题:

广义拉格朗日函数(generalized Lagrange function):

Lagrange函数,对偶问题,KKT条件_第1张图片
在这里插入图片描述是是拉格朗日乘子
特别要求:在这里插入图片描述

原始问题的描述等价为:

在这里插入图片描述
这个地方如下理解:
在这里插入图片描述

原始问题最优化:

Lagrange函数,对偶问题,KKT条件_第2张图片
最优值:
在这里插入图片描述

2. 对偶问题

对偶问题:

在这里插入图片描述
对偶问题一定是凹的。

对偶问题最优化(极大值):

在这里插入图片描述

原始问题最优化(极小值):

在这里插入图片描述

对偶问题的最优值:

在这里插入图片描述

原始问题最优值:

在这里插入图片描述

3. 原始问题与对偶问题的关系

定理:若原始问题与对偶问题都有最优值,则

Lagrange函数,对偶问题,KKT条件_第3张图片

在这里插入图片描述
分别是原始问题和对偶问题的最优解的充分必要条件是:

在这里插入图片描述
满足KKT条件:
Lagrange函数,对偶问题,KKT条件_第4张图片
关于KKT 条件的理解:前面三个条件是由解析函数的知识,对于各个变量的偏导数为0(这就解释了一开始为什么假设三个函数连续可微,如果不连续可微的话,这里的偏导数存不存在就不能保证),后面四个条件就是原始问题的约束条件以及拉格朗日乘子需要满足的约束。

由KKT对偶互补条件可知:a>0时,c =0`, SVM会用到.

你可能感兴趣的:(数值计算)