凸优化学习笔记

1 数学优化

优化：从一个可行解的集合中，寻找出最优的元素。
数学表达式：$$\begin{gathered} minimize{f}_0(x) \\ subjectto{f}_i(x)\le b_i,i=1,\dots m.\text{\hspace{1em}(1.1)} \end{gathered}$$

• $x=[x_1,\dots ,x_n{]}^T$为优化变量；
• $f_0:R^n\to R$为目标函数；
• $f_i:R^n\to R$为约束函数
  最优解：$x^{\ast }$为最优解$⟺\forall z,f_0(z)\ge f_0(x^{\ast }),z\in \{f_i(z)\le b_i,i=1,\dots ,m\}$

应用：

• 数据拟合问题
• 投资组合优化
• 器件尺寸问题

分类：

1. 线性规划&非线性规划

线性规划：$f_i(\alpha x+\beta y)=\alpha f_i(x)+\beta f_i(y)$，单纯形法、内点法

2. 凸规划&非凸规划 \quad 区分容易和困难

凸规划：$f_i(\alpha x+\beta y)\le \alpha f_i(x)+\beta f_i(y)$，目标函数是凸函数且可行解集是凸集
线性规划问题一定是凸规划问题

3. 光滑&非光滑

针对目标函数$f_0(x)$，光滑：函数在每一个点上都可微

4. 连续&离散

针对可行域

5. 单目标&多目标

多目标可以加权变为单目标

2 凸集

2.1 仿射集合和凸集