中科大-凸优化 笔记（lec2）-什么是凸优化？

全部笔记的汇总贴（视频也有传送门）：中科大-凸优化

一、优化问题的几种分类

• 线性规划/非线性规划【早期分类】（由于线性约束的存在，线性规划的最优点和可行点一般都是在边界上，所以单纯形法之类的算法是有用的。）
  $$\begin{gathered} f_i(\alpha x+\beta y)=\alpha f_i(x)+\beta f_i(y) \\ \forall i=0,1,\cdots ,m \end{gathered}$$
  

• 凸规划/非凸规划【终极分类，有本质的区别】
  $$\begin{gathered} f_i(\alpha x+\beta y)\le \alpha f_i(x)+\beta f_i(y) \\ \forall i=0,1,\cdots ,m \end{gathered}$$

• 光滑/非光滑（针对目标函数$f_0(x)$来说）
  

• 连续/离散【针对可行域/约束集来说】：离散的一般都比较难，因为离散集合是非凸的，连续问题有难有易。
  

• 单目标(${\min }_{x}f(x)$)/多目标（${\min }_x{f}_1(x),{\min }_x{f}_2(x)$）【针对目标函数个数而言】
  

特点，往往只能折中的求解最优解。
解决方法：用加权思想，组合成一个目标，令$f_0(x)=\alpha f_1(x)+\beta f_2(x)$，然后去求${\min }_x{f}_0(x)$。

二、什么是凸优化问题？

广义定义：凸目标函数、凸约束集。$$\begin{gathered} \underset{x}{\min }f(x) \\ s.t.x\in \Omega \end{gathered}$$其中$f(x)$是凸函数，$\Omega$是凸集。
【注：函数$f$凸表明两件事：$f$满足凸函数的性质；$domf$是凸集。这里的$\Omega$是约束集。】

狭义定义：$f_i(x),i=1,2,\cdots ,m$是凸函数，$h_j(x),j=1,2,\cdots ,p$是仿射函数。$$\begin{gathered} \underset{x}{\min }{f}_0(x) \\ s.t.f_i(x_0)\le 0,i=1,\cdots ,m \\ {h}_j(x)=0,j=1,\cdots ,p \end{gathered}$$

三、凸优化的目标是什么？

• 解一些比较容易的问题，包括：凸问题、单目标问题、光滑问题等等。
• 能将一些实际问题构造成上述容易的问题类型。
• 容易和难指的是求解最优值的难易，对于函数$f_i$的获得往往假设是可知的(就是假设函数都是给定的，针对不同情况去分析问题的性质和解法，不去讨论函数是怎么构造/建模出来的)。

四、凸优化的主要内容是什么？

• 凸集、凸函数、凸优化问题定义；
• 凸优化理论知识：KKT条件、对偶性Duality、鞍点Saddle Point、函数共轭Conjugate等理论工具；
• 若干凸优化算法。

后面讲的是优化问题的历史，没啥事儿可以听听。

下一章传送门：中科大-凸优化 笔记（lec3）-仿射集