拉格朗日对偶问题一定是凸优化问题的证明

前言

如果原目标函数是非凸的，那么一般我们很难去解决这个问题，因为一个函数如果是非凸的，那么它的局部最优解不一定是全局最优解，所以一般我们会把这个非凸的问题用拉格朗日对偶的方法转化为凸优化问题，也就是凸函数，只有凸函数，它的局部最优解才是全局最优解，那么我们只要通过求偏导来求出其中的局部最优解就可以求得对偶函数的最优解了。但是求得拉格朗日对偶函数的最优解之后要怎么样才能求得目标函数的最优解呢？这就要证明这个对偶是否是强对偶了，如果是强对偶那么对偶间隙就是0，这样对偶函数的最优值就等于原目标函数的最优值。那么为什么拉格朗日对偶问题一定是凸的呢？下面就来看下《Convex Optimization》这本书中所写的证明。

证明

以上证明出自《Convex Optimization》，虽然这里很好的证明了不论原问题是不是凸优化问题，它的对偶问题一定是凸优化问题，在实际的场景中用拉格朗日对偶来解决凸优化问题能很容易的证明强对偶性，从而可以通过拉格朗日对偶的方法来求得原问题得最优解，因为满足强对偶性的原问题和对偶问题之间的对偶间隙为0，所有可以很容易得到对偶问题的最优解就是原问题的最优解，但是如果原问题是非凸优化问题呢？非凸优化问题很难求出原问题与对偶问题之间的对偶间隙，并且也很难证明强对偶性，所以一般的非凸优化问题中只是满足了弱对偶性。

参考文献

[1] Stephen Boyd, et al. Convex Optimization. Cambridge university press, 2004.