【最优化理论】02-凸规划

基础概念

凸集

凸组合

凸包

凸集性质

凸锥（锥&凸集）

图a，C不是锥。
图b，C是锥，且C是凸集。
图c，C是锥，但C不是凸集。

多面集

凸集的代数表示

为什么要对凸集进行代数表示？

因为线性规划中的线性约束需要用到凸集表示。

极点

按此定义，图1.4.3中，图(a)中多边形的顶点x(1) ，x(2)，x(3)，x(4)和x(5) 是极点，而x(6)和x(7)不是极点.图(b)中圆周上的点均为极点。

在给定的两个凸集中，任何一点都能表示成极点的凸组合。这个论断对于紧凸集总是正确的，但是对于无界集并不成立。为处理无界集，需引入极方向的概念。

极方向

显然，有界集不存在方向，因而也不存在极方向.对于无界集才有方向的概念。

Ad=0的解是Ax=b的方向，二维空间中，A的法向量与方向d垂直。

Ax=b是Ax=0平移b个单位得到的。

Ax=b也叫线性流形或者仿射集。

紧凸集表示

紧凸集中，极点围成的多边形即为凸组合。
紧凸集中，只要找到所有极点，用极点围成的多边形（凸组合）即可表示紧凸集。

凸集表示定理

若为紧凸集，极方向集合为空，方向的正组合为0，紧凸集可以用极点的凸组合表示。

表示定理中的S使用的Ax=b，而不是Ax≥b，根据多面集的定义可知，S 表示特殊情况的多面集，即Ax≥b多面集的边界。

表示定理的通俗解释：多面集中任意一点都可以由极点凸组合与极方向正组合表示。

表示定理中的Ax=b是线性的，所以容易表示，如果是类似于||x||=b（圆），就不容易用极点表示。

凸集分离定理

凸集一定有分离定理，非凸集不一定有分离定理？

闭凸集性质（点在闭凸集上的映射）（为凸集分离定理证明做铺垫）

inf 上确界；sup 下确界；min 最小值；max 最大值。

有上确界下确界不一定有最小值最大值，例如 $\inf f(x)=0,x\in (0,1)$ 但是 $\min f(x)不存在,x\in (0,1)$ 。

点与凸集分离定理

通俗理解：x属于S，y不属于S，必定存在一条直线P^Tx=α，将y与x分开。

凸集与凸集可分离

凸函数

凸函数性质

凸函数的根本重要性

凸函数判别

凸函数一阶判别法

凸函数二阶判别法

二阶充要条件

二阶充分条件

逆命题不成立，例如 $y=x^4$。二阶导为 $y=12x^2$ 在x=0处y=0，所以二阶导不是正定，但 $y=x^4$ 是凸函数。

凸规划

凸优化问题

凸优化 Vs 非凸优化

为什么要区分凸优化与非凸优化？

凸优化问题拥有很多很好的性质。

凸优化性质

1 局部最优解=全局最优解

为什么凸优化问题的局部最优解=全局最优解？

2 凸规划问题（P）的解集为凸集

3 问题（P）为严格凸优化问题时，若存在最优解，则最优解唯一

4 凸规划问题（P）的全局最优解与稳定点等价

凸优化最优性条件（充要条件）

常见凸优化问题