优化方法之朗格朗日对偶性

学习最大熵模型和支持向量机的过程中,涉及优化中对偶性的相关内容,在这里做个小结巩固一下(参考自《统计学习方法》)。拉格朗日对偶性常用来解决约束最优化问题,其思想是将原始问题转换为对偶问题,通过解对偶问题间接求出原始问题。

1.原始问题

f(x),ci(x),hj(x) 是定义在 Rn 上的连续可微函数,则称约束最优化问题:

minxRnf(x)s.t.ci(x)0,i=1,2,,khj(x)=0,j=1,2,,l

为原始最优化问题或原始问题。引进广义拉格朗日函数
L(x,α,β)=f(x)+i=1kαici(x)+j=1lβjhj(x)

这里, x=(x(1),x(x),,x(n))TRn,αi,βj 是拉格朗日乘子, αi0 .考虑 x 的函数:
θp(x)=maxα,β:αi0L(x,α,β)

其中,下标P表示原始问题。由反证法易知:
θp(x)={f(x),x+,
那么,极小化问题
minxmaxα,β:αi0L(x,α,β)
与原始问题是等价的。即,我们把原始问题表示为广义拉格朗日函数的极小极大问题。原始问题的最优值:
p=minxθP(x)
称为原始问题的解。

2.对偶问题

我们定义

θD(α,β)=minxL(x,α,β)
则称
maxα,β:αi0θD(α,β)=maxα,β:αi0minxL(x,α,β)
为广义拉格朗日函数的极大极小问题。将上式表示为约束最优化问题:
maxα,βθD(α,β)=maxα,βminxL(x,α,β)s.t.αi0,i=1,2,,k
称上式为原始问题的对偶问题。将对偶问题的最优值:
d=maxα,β:αi0θD(α,β)
称为对偶问题的解。

3.解的关联

定理1 若原始问题和对偶问题都有最优值,则

d=maxα,β:αi0θD(α,β)minxmaxα,β:αi0L(x,α,β)=p

推论2 x α,β 分别为原始问题和对偶问题的可行解,并且 d=q ,则 x α,β 分别是原始问题和对偶问题的最优解。

特别地,若原始问题和对偶问题的最优解相等,我们可以用解对偶问题替代原始问题。

定理3对于原始问题和对偶问题,假设函数 f(x) ci(x) 是凸函数, hj(x) 是仿射函数(一阶多项式函数),并且假设不等式约束 ci(x) 的不等式严格可行,则存在 x,α,β ,使 x 是原始问题的解, α,β 是对偶问题的解,并且 p=d

定理4对原始问题和对偶问题,假设函数 f(x) ci(x) 是凸函数, hj(x) 是仿射函数, hj(x) 是仿射函数,并且假设不等式约束 ci(x) 的不等式严格成立,则 x α,β 分别是原始问题和对偶问题的解的充要条件是 x,α,β 满足KKT条件。

你可能感兴趣的:(优化,机器学习)