中科大-凸优化 笔记(lec2)-什么是凸优化?

全部笔记的汇总贴(视频也有传送门):中科大-凸优化

一、优化问题的几种分类

  • 线性规划/非线性规划【早期分类】(由于线性约束的存在,线性规划的最优点和可行点一般都是在边界上,所以单纯形法之类的算法是有用的。)
    f i ( α x + β y ) = α f i ( x ) + β f i ( y ) ∀ i = 0 , 1 , ⋯   , m f_i(\alpha x+\beta y)=\alpha f_i(x)+\beta f_i(y)\\\forall i=0,1,\cdots,m fi(αx+βy)=αfi(x)+βfi(y)i=0,1,,m
    中科大-凸优化 笔记(lec2)-什么是凸优化?_第1张图片

  • 凸规划/非凸规划【终极分类,有本质的区别】
    f i ( α x + β y ) ≤ α f i ( x ) + β f i ( y ) ∀ i = 0 , 1 , ⋯   , m f_i(\alpha x+\beta y)\le \alpha f_i(x)+\beta f_i(y)\\\forall i=0,1,\cdots,m fi(αx+βy)αfi(x)+βfi(y)i=0,1,,m

中科大-凸优化 笔记(lec2)-什么是凸优化?_第2张图片

  • 光滑/非光滑(针对目标函数 f 0 ( x ) f_0(x) f0(x)来说)
    中科大-凸优化 笔记(lec2)-什么是凸优化?_第3张图片

  • 连续/离散【针对可行域/约束集来说】:离散的一般都比较难,因为离散集合是非凸的,连续问题有难有易。
    中科大-凸优化 笔记(lec2)-什么是凸优化?_第4张图片

  • 单目标( min ⁡ x f ( x ) \min_x f(x) minxf(x))/多目标( min ⁡ x f 1 ( x ) , min ⁡ x f 2 ( x ) \min_x f_1(x),\min_x f_2(x) minxf1(x),minxf2(x))【针对目标函数个数而言】
    中科大-凸优化 笔记(lec2)-什么是凸优化?_第5张图片

特点,往往只能折中的求解最优解。
解决方法:用加权思想,组合成一个目标,令 f 0 ( x ) = α f 1 ( x ) + β f 2 ( x ) f_0(x)=\alpha f_1(x)+\beta f_2(x) f0(x)=αf1(x)+βf2(x),然后去求 min ⁡ x f 0 ( x ) \min_x f_0(x) minxf0(x)

二、什么是凸优化问题?

广义定义:凸目标函数、凸约束集。 min ⁡ x f ( x ) s . t .      x ∈ Ω \min_x f(x)\\s.t.\;\;x\in \Omega xminf(x)s.t.xΩ其中 f ( x ) f(x) f(x)是凸函数, Ω \Omega Ω是凸集。
【注:函数 f f f凸表明两件事: f f f满足凸函数的性质; d o m f dom f domf是凸集。这里的 Ω \Omega Ω是约束集。】

狭义定义: f i ( x ) , i = 1 , 2 , ⋯   , m f_i(x),i=1,2,\cdots,m fi(x),i=1,2,,m是凸函数, h j ( x ) , j = 1 , 2 , ⋯   , p h_j(x),j=1,2,\cdots,p hj(x),j=1,2,,p是仿射函数。 min ⁡ x f 0 ( x ) s . t .      f i ( x 0 ) ≤ 0 , i = 1 , ⋯   , m h j ( x ) = 0 , j = 1 , ⋯   , p \min_x f_0(x)\\s.t.\;\;f_i(x_0)\le0,i=1,\cdots,m\\h_j(x)=0,j=1,\cdots,p xminf0(x)s.t.fi(x0)0,i=1,,mhj(x)=0,j=1,,p

三、凸优化的目标是什么?

  • 解一些比较容易的问题,包括:凸问题、单目标问题、光滑问题等等。
  • 能将一些实际问题构造成上述容易的问题类型。
  • 容易和难指的是求解最优值的难易,对于函数 f i f_i fi的获得往往假设是可知的(就是假设函数都是给定的,针对不同情况去分析问题的性质和解法,不去讨论函数是怎么构造/建模出来的)。

四、凸优化的主要内容是什么?

  • 凸集、凸函数、凸优化问题定义;
  • 凸优化理论知识:KKT条件、对偶性Duality、鞍点Saddle Point、函数共轭Conjugate等理论工具;
  • 若干凸优化算法。

后面讲的是优化问题的历史,没啥事儿可以听听。

下一章传送门:中科大-凸优化 笔记(lec3)-仿射集

你可能感兴趣的:(#,中科大-最(凸)优化学习笔记)