凸优化(一)——概述

〇、说明

最近在学习机器学习方面的算法知识，这里尽量以通俗易懂的方式将其整理一下，一方面以备自己查阅，另一方面如果可以方便他人则更好。

凸优化主要学习《凸优化》(Stephen Boyd等著，王书宁等译)[1]这本书。学习过程中，对其内容的理解时有困惑，也参考一些其他书籍资料。笔者尽量将这部分知识整理地简洁明了，成此系列笔记。

如有错误疏漏，烦请指出。如要转载，请联系笔者，[email protected]。

一、什么是凸优化

不严格的说，凸优化就是在标准优化问题的范畴内，要求目标函数和约束函数是凸函数的一类优化问题。

二、重要性

“凸优化在数学规划领域具有非常重要的地位。”

“一旦将一个实际问题表述为凸优化问题，大体上意味着相应问题已经得到彻底解决，这是非凸的优化问题所不具有的性质。”

——《<凸优化>译者序》

凸优化之所以如此重要，是因为：

1、其应用非常广泛，机器学习中很多优化问题都要通过凸优化来求解；

2、在非凸优化中，凸优化同样起到重要的作用，很多非凸优化问题，可以转化为凸优化问题来解决；

3、如上引用所述，凸优化问题可以看作是具有成熟求解方法的问题，而其他优化问题则未必。

三、凸优化知识体系

凸集，定义目标函数和约束函数的定义域。

凸函数，定义优化相关函数的凸性限制。

凸优化，中心内容的标准描述。

凸优化问题求解，核心内容。相关算法，梯度下降法、牛顿法、内点法等。

对偶问题，将一般优化问题转化为凸优化问题的有效手段，求解凸优化问题的有效方法。

四、标准优化问题

五、凸优化问题

附录

A、参考

[1]、《凸优化》，Stephen Boyd等著，王书宁等译

B、相关目录

凸优化(一)——概述

凸优化(二)——凸集

凸优化(三)——凸函数

凸优化(四)——问题求解

凸优化(五)——回溯直线搜索

凸优化(六)——最速下降法

凸优化(七)——牛顿法

凸优化(八)——Lagrange对偶问题

C、时间线

2016-02-15 第一次发布

2016-08-07 修改文章名，重新整理完善