拉格朗日对偶性

本文来自我的个人博客 https://www.zhangshenghai.com/posts/22545/

在约束最优化问题中，常常利用拉格朗日对偶性将原始问题转换为对偶问题，通过解对偶问题而得到原始问题的解。

原始问题

假设是定义在上的连续可微函数，考虑约束最优化问题

首先，引入拉格朗日函数：

这里，，是拉格朗日乘子，，考虑x的函数：

考虑极小化问题：

这与原始最优化问题等价，即它们有着相同的解，将其称为广义拉格朗日函数的极小极大问题。

对偶问题

定义：

再考虑极大化，即原始最优化问题的对偶问题：

原始问题和对偶问题的关系

若原始问题和对偶问题都有最优值，则：

在某些条件下，上式的等号成立，这时可以用解对偶问题替代解原始问题。

对原始问题和对偶问题，假设函数和是凸函数，是仿射函数，并且不等式约束是严格可行的，则和分别是原始问题和对偶问题的解的充分必要条件是，满足下面的Karush-Kuhn-Tucker (KKT)条件：

可以看出，若，则，称为KKT的对偶互补条件。