弱对偶理论与极大极小不等式的证明

弱对偶理论与极大极小不等式及其证明

这个问题是我最近看凸优化理论时遇到的，是关于强弱对偶性的极大极小描述， 我先给出相关背景，然后再给出不等式的证明。
为了简化问题，我们假设没有等式约束；事实上可以很容易的扩展至有等式约束的情形。

minimizef0(x)

subject tofi(x)≤0,i=1,⋯,m

将其转化为Lagrange对偶问题，我们注意到

supλ⪰0L(x,λ)=supλ⪰0(f0(x)+∑i=1mλifi(x)

{f0(x)∞fi(x)≤0,i=1,⋯,m其它情况

这意味着我们可以将原问题的最优值写成如下形式

p∗=infxsupλ⪰0L(x,λ)

根据对偶函数的定义，有

d∗=supλ⪰0 infxL(x,λ).

因此弱对偶不等式可以表述为下述不等式

supλ⪰0infxL(x,λ)≤infxsupλ⪰0L(x,λ)

强对偶性可以表示为

supλ⪰0infxL(x,λ)=infxsupλ⪰0L(x,λ)

强对偶性意味着对x求极小和对λ⪰0求极大介意互换而不影响结果。

我们终于要引出我们的重点了

上述弱不等式是否成立和L的性质无关：对于任意f:Rn×Rm→R(以及任意W⊆Rn和 Z⊆Rm),下式成立

supz∈Zinfw∈Wf(w,z)≤infw∈Wsupz∈Zf(w,z).

这个一般性的等式称为极大极小不等式。若等式成立，即

supz∈Zinfw∈Wf(w,z)=infw∈Wsupz∈Zf(w,z).

我们称f满足强极大极小性质或者鞍点性质。那么该不等式应该如何证明呢？楼主在 这个 网站上找到了详细的证明，但是发现太繁琐，而且不是主要证明这个不等式

下面我们就来证明：

对于每个固定的x^∈X和所有y∈Y，有

infx∈Xf(x,y)≤f(x^,y),

因此

supy∈Yinfx∈X≤supy∈Yf(x^,y).

由于这个不等式对于每个x^∈X都成立，必有

supy∈Yinfx∈Xf(x,y)≤infx∈Xsupy∈Yf(x,y),

容易找到使不等式严格成立的例子如f(x,y)=x2+y2,x,y∈R
三五行就完成了,楼主花了好久才找到证明方法，不知道读者你们是不是会证明呢？这是极大极小问题，
个人认为这方面的东西是很有价值的。举个例子：
考虑二人对策，局中人1做出选择（或者移动）k∈{1,⋯,n},局中人2在l∈{1,⋯,m}中做出选择。 然后局中人1支付给局中人2 Pkl,其中P∈Rn×m是对策的支付矩阵 , 局中人1的目标是支付额越少越好，而局中人2的目标是极大化支付额。
这里有个很有意思的结论：如果采取混合策略，无论局中人1知道局中人2的策略，还是局中人2知道局 中人1的策略，支付额没有变化。这个问题楼主以后和大家一起分析。
谢谢阅读，如有纰漏，请不吝指出。