凸优化--强弱对偶性的几何解释

凸优化–强弱对偶性的几何解释

一般的优化问题模型

minf0(x)s.t.fi≤0,i=1,⋯,mhi=0,i=1,⋯,p

定义约束函数和目标函数所取值的集合 G

G={(f1(x),⋯,fm(x),h1(x),⋯,hp(x),f0(x))∈Rm×Rp×R∣x∈D}

利用 G 的表达原始优化问题

p⋆=inf{t∣(u,v,t)∈G,u≤0,v=0} .

原问题的对偶函数

g(λ,ν)=inf{(λ,ν,1)T(u,v,t)∣(u,v,t)∈G} .

其中， (λ,ν,1)T(u,v,t)=∑mi=1λiui+∑pi=1νivi+t

如果下确界有限，则不等式

(λ,ν,1)T(u,v,t)≥g(λ,ν)

是集合 G 的一个支撑超平面。

假设 λ≥0 。如果 u≤0,v=0 , 则

t≥(λ,ν,1)T(u,v,t)=∑mi=1λiui+∑pi=1νivi+t

因此， p⋆ =inf{t∣(u,v,t)∈G,u≤0,v=0}≥inf{(λ,ν,1)T(u,v,t)∣(u,v,t)∈G,u≤0,v=0}≥inf{(λ,ν,1)T(u,v,t)∣(u,v,t)∈G}=g(λ,ν)

即弱对偶性成立。

举例：针对只有一个不等式约束的优化问题，

g(λ)=inf{λu+t∣(u,t)∈G}

图片再补