凸优化问题：基础定义

“一旦将一个实际问题表述为凸优化问题，大体上意味着相应问题已经得到彻底解决，这是非凸的优化问题所不具有的性质。”——《<凸优化>译者序》

“ 事实上，优化问题的分水岭不是线性与非线性，而是凸性与非凸性”
——Rockafellar

1 什么是凸优化

什么是凸优化？抛开凸优化中的种种理论和算法不谈，纯粹的看优化模型，凸优化就是：1、在最小化（最大化）的要求下，2、目标函数是一个凸函数（凹函数），3、同时约束条件所形成的可行域集合是一个凸集。¹

2 凸优化的相关概念

1. 凸集

其几何意义表示为：如果集合C中任意2个元素连线上的点也在集合C中，则C为凸集。其示意图如下所示：

2. 凸函数
一个函数 f 被称为凸函数，满足一下条件：
（1）f 的定义域dom(f) 是凸集；
（2）对于任何x,y∈dom(f),0≤θ≤1,有f(θx+(1−θ)y)≤θf(x)+(1−θ)f(y)；
4. 凸优化

附：仿射函数定义以及与凸性的关系

3 凸优化的优势

1. 凸优化问题有很好的性质众所周知，凸问题的局部最优解就是全局最优解。不过，凸优化理论中最重要的工具是Lagrange对偶，这个为凸优化算法的最优性与有效性提供了保证。近些年来关于凸问题的研究非常透彻，以至于只要把某一问题抽象为凸问题，就可以近似认为这个问题已经解决了。
2. 凸优化扩展性强前面提到，许多问题的关键是在于将问题抽象为凸问题。因此许多非凸问题通过一定的手段，要么等价地化归为凸问题，要么用凸问题去近似、逼近。典型的如几何规划、整数规划，它们本身是非凸的，但是可以借助凸优化手段去解，这就极大地扩张了凸优化的应用范围。
3. 凸优化的应用十分广泛现实生活中确实有大量的非凸问题，但是并不妨碍凸优化在许多问题上都可以大展身手。往细了说，比如线性回归、范数逼近、插值拟合、参数估计，以及许多的几何问题；往大了说，在通信、机器学习、统计、金融等涉及优化、决策的研究领域，凸优化都是非常有效的手段。
4. 针对其他非凸问题的研究还不充分凸优化之重要，从另一个角度说，就是我们没有找到很好的非凸优化的算法，这一部分还有许多学者都在努力。²

---

1. https://www.zhihu.com/question/24641575 ↩︎

2. https://www.zhihu.com/question/24641575/answer/87751184 ↩︎