最优化 - 拉格朗日乘子法与KKT条件

1. 一般约束优化问题

一般约束优化问题的形式为：

 

定义拉格朗日函数为：

 

则一般约束优化问题的最优性条件（KKT条件）：

 

2. 对偶问题

一个优化问题可以从两个角度来考虑，一是被优化的原问题，其次是基于拉格朗日函数定义的对偶问题，也即极大极小问题：
 

为什么上式是对偶问题：
1. 一般约束优化问题，完全等价于下式：

 

2. 极小极大小于等于极大极小：

 

3. 等号成立的条件（大概是这样）
1）原函数为凸函数， 为凸函数。
2）KKT条件成立