凸优化（八）——Lagrange对偶问题

〇、说明

凸优化主要学习《凸优化》(Stephen Boyd等著，王书宁等译)[1]这本书。学习过程中，对其内容的理解时有困惑，也参考一些其他书籍资料。笔者尽量将这部分知识整理地简洁明了，成此系列笔记。

如有错误疏漏，烦请指出。如要转载，请联系笔者，[email protected]。

一、意义

无论原问题是不是凸优化问题，都可以将原问题转化为凸优化问题来求解。

当Lagrange对偶问题的强对偶性成立时，可以利用求解对偶问题来求解原问题；而原问题是凸优化问题时，强对偶性往往成立。否则，可以利用求解对偶问题求出原问题最优值的下界。

二、Lagrange对偶问题

2.1、原问题

2.2、Lagrange函数

2.3、Lagrange对偶函数

2.4、Lagrange对偶问题

1、最优值的下界

2、最好下界

2.5、弱对偶性

2.6、强对偶性

1、强对偶性

2、约束准则

很多研究成果给出了除凸性条件之外的强对偶性成立的条件，这些条件称为约束准则。

3、Slater条件和Slater定理

三、最优性条件

3.1、互补松弛性

3.2、KTT条件

1、非凸优化问题的KKT条件

2、凸优化问题的KKT条件

当原问题是凸优化问题时，满足KKT条件的点也是原、对偶问题的最优解。

若某个凸优化问题具有可微的目标函数和约束函数，且满足Slater条件，那么KKT条件是最优性的充要条件。

3、KKT条件的意义

KKT条件在优化领域有着重要的作用。在一些情况下，可以通过解析求解KKT条件来求解优化问题。高等代数中的Lagrange乘子法就可以理解为利用KKT条件求解约束求极值问题。[2]

更一般地，很多求解凸优化问题的方法可以理解为求解KKT条件的方法。

附录

A、参考

[1]、《凸优化》，Stephen Boyd等著，王书宁等译

[2]、《高等数学》(同济四版)

B、相关目录

凸优化(一)——概述

凸优化(二)——凸集

凸优化(三)——凸函数

凸优化(四)——问题求解

凸优化(五)——回溯直线搜索

凸优化(六)——最速下降法

凸优化(七)——牛顿法

凸优化(八)——Lagrange对偶问题

C、时间线

2016-03-01 第一次发布

2016-08-08 修改文章名，重新整理完善