02 凸优化理论-凸集

02 凸集

目录
2.1.仿射集合和凸集
2.2.重要的例子
2.3.保凸运算

2.5.分离与支撑超平面

2.4.正常锥与广义不等式
2.6.对偶锥与广义不等式

2.1 仿射集合和凸集

2.1.2 仿射集合

2.1.1直线与线段的定义、几何含义
Def 1 仿射集合的定义

（一）仿射组合&仿射包

Def 2 仿射组合&仿射包的定义

引理1：一个仿射集包含其中任意两点的仿射组合[定义]→一个仿射集包含其中任意多点的仿射组合

定理1：仿射包 aff( C)是包含C的最小的仿射集合，也就是说，S是满足C⊆S的仿射集合，则aff( C)⊆S

（二）仿射集的刻画

定理2（仿射集是子空间的平移）：（1）如果C是一个仿射集合并且x0∈C，则集合V=C-x0是一个子空间，即关于加法和乘法是封闭的；
（2）任意仿射集合C都可以表示为C=V+x0,∀x0∈C，其中x0的选取与V无关。

推论2（仿射集等价于线性方程组的解集）：任意仿射集等价于一个线性方程组的解集。

（三）2.1.3 仿射维数与相对内部

Def 3 仿射维数的定义：集合C的仿射维数是其仿射包的维数，即其平行子空间的维数。
ps. 平面上单位圆环的仿射维数为2，而大多数维数定义下为1。

Def 4 相对内部&相对边界的定义：仿射包的内部
ps. 相对内部和内部的区别：仿射维数与空间维数的关系

2.1.4 凸集

Def 5 凸集的定义
Def 6 凸组合&凸包的定义

引理3：一个凸集包含其中任意两点的凸组合[定义]→一个凸集包含其中任意多点的凸组合

定理3：凸包conv( C)是包含C的最小的凸集，也就是说，B是满足C⊆B的凸集，则aff( C)⊆B

凸组合概念的扩展[无穷级数、积分、概率分布]

2.2 重要的例子

（一）凸锥

2.1.5 锥

Def 7 锥、凸锥的定义，几何含义&等价定义
Def 8 锥组合&锥包的定义

引理4：一个凸锥包含其中任意两点的锥组合[定义]→一个凸锥包含其中任意多点的锥组合

定理4：锥包是包含C的最小的凸锥，也就是说，B是满足C⊆B的凸锥，则cone( C)⊆B

2.2.3 范数锥

Def 9 范数锥的定义
示例：二阶锥（二次锥/Lorentz锥/冰淇淋锥）：由Euclid范数定义的范数锥

2.2.5 半正定锥

Def 10 对称矩阵、对称半正定矩阵、对称正定矩阵的定义

定理5*：对称半正定矩阵是凸锥

定理6*：对称正定矩阵是对称半正定矩阵的内部

示例：二阶对称半正定矩阵的元素

（二）球体

2.2.3 范数球

Def 11 范数球的定义

2.2.2 Euclid球和椭球

Def 12 Euclid球的定义：由Euclid范数定义的范数球
ps. Euclid球两种形式的表述

定理7：Euclid球是凸集（只用到范数的齐次性和三角不等式）

Def 13 椭球的定义[两种表述]

（三）多面体

2.2.1 超平面与半空间

Def 14 超平面的定义&几何含义
Def 15 半空间的定义&几何含义、半开空间

2.2.4 多面体

Def 16 多面体的定义&矩阵表示
Def 17 多胞体的定义：有界的多面体
示例：非负象限（多面体锥）

重要的例子：单纯形

Def 18 仿射独立的定义

定理8：仿射独立与线性独立的关系

Def 19 单纯形的定义：有限个仿射独立的点生成的凸包
示例：1.一维、二维、三维单纯性；2.单位单纯性；3.概率单纯性

定理9（单纯性的多面体描述）：将单纯形转换为多面体形式

多面体的凸包描述

定理10（凸包形式与多面体形式的转换）：（1）凸包是多面体，但无法简单地用多面体形式表示；（2*）凸包扩展式与多面体形式可以相互转换

示例：Rn中无穷范数下单位球的凸包和多面体形式

2.3 保凸运算

2.3.1 交集

定理11*：交集运算（有限&无穷）是保凸的

示例：多面体是半平面和超平面的交集
示例1：半正定锥是无穷个半空间的交集
示例2：无穷个平板的交集

定理12*：（1）半空间的交集是凸集（如上示例）；（2）每一个闭凸集是半空间的交集，即一个闭集是包含它的所有半空间的交集；（3）每个仿射集都是有限个超平面的交集

2.3.2 仿射变换

Def 20：仿射变换的定义

定理13*：仿射变换/逆变换是保凸的

运算示例：
1.凸集的伸缩和平移是凸的；
2.凸集向它的某几个坐标的投影是凸的；
3.两个凸集的和是凸的；
4*.两个凸集的部分和是凸的：交集和两个凸集的和是其特殊情况；
5.直积运算是保凸的：两个凸集和的逆运算；

凸集示例：
1.多面体；
2.线性矩阵不等式的解：半正定锥的原像；
3.双面锥：二阶锥的原像；
4.椭球：单位Euclid球的像；

2.3.3 线性分式及透视函数

（一）透视函数

Def 21：透视函数的定义、小孔成像解释

定理14：凸集在透视函数下的像/原像是凸集

（二）线性分式函数[投射函数]

Def 22：线性分式函数的定义：仿射函数复合透视函数
注：线性分式函数的投射解释、几何解释、投射/逆投射变换

定理15：线性分式函数的像/原像是保凸的

示例：条件概率是线性分式变换
ps. 二维空间中集合在线性分式函数下像与原像的图形比较

2.5 分离与支撑超平面

2.5.1 超平面分离定理

（一）超平面分离定理

引理16（钝角原理的推论）*：当集合C和D为闭集，且至少有一个有界，则存在$c\in C$ 和 $d\in D$ 达到两个集合间的最小距离，即 dist(C,D)。

定理16（超平面分离定理）：假设C和D是两个不相交的凸集，那么存在$a\ne 0$ 和 b使得对于所有$x\in D$有$a^{T}x\ge b$。

示例：仿射集与凸集的分离：分离函数满足的条件

（二）超平面严格分离定理

定理17（超平面严格分离定理）*：（1）两个凸集都是闭集不一定能严格分离；（2）在某些特殊情况下，可以构造严格分离。

示例：

定理18（点与闭凸集的严格分离）：令C为闭凸集，而$x_0\notin C$，那么存在将x_0与C 严格分离的超平面。

推论18：一个闭凸集是包含它的所有半空间的交集

（三）超平面分离定理的逆定理

定理18（超平面分离定理的逆定理）：（1）两个凸集C和D存在分离超平面，但这两个集合不一定不相交（超平面分离定理的逆定理不成立）；（2）给凸集C和D添加额外的条件，才有逆定理成立，从而构成等价定理。

示例：

定理19：两个集合C和D是凸集，如果其中至少一个是开集，那么当且仅当存在分离超平面时，它们不相交。

超平面分离定理的应用：示例

定理20（严格线性不等式的择一定理）：严格线性不等式Ax$\lambda \ne 0，\lambda \ge 0，A^T\lambda =0，{\lambda }^{T}b\le 0$（2.18）构成一对一择一选择，即对于任意A和b，两者中仅有一组有解。

2.5.2 支撑超平面

Def 23 支撑超平面的定义、几何含义

定理21（支撑超平面定理）：对于任意非空的凸集C和任意$x_0\in bdC$,在$x_0$处存在C的支撑超平面。 Pf：C的内部是空集；C的内部非空

定理22（支撑超平面定理的逆定理）*：如果一个集合是闭集，具有非空内部，并且其边界上每个点均存在支撑超平面，那么它是凸的。

2.4.正常锥与广义不等式

2.4.1正常锥&广义不等式

Def 24 正常锥的定义：尖的非空内部闭凸锥
Def 25 广义不等式的定义：由正常锥定义$R^n$上的偏序关系、严格偏序关系
示例：
1.K是非负象限（分量不等式）；
2.K是半正定锥（矩阵不等式）；
3.K是[0,1]上的非负多项式锥；

定理23（广义不等式的性质） ：（1）广义不等式的性质；（2）严格广义不等式的性质。（与普通的不等式有类似的性质）

2.4.2.最小与极小元

定理24 一般的广义不等式（不是普通的不等式）不是线性序的，即任意两点不一定具有大小的可比性。因此，最大元和极小元在概念上不同。

Def 26 最小元的定义：对于每个$y\in S$，均有$x{\le }_{K}y$，称x是S的最小元。（所有点都比他大）

定理24*：如果一个集合有最小元（最大元），那么它们是唯一的。

Def 27 极小元的定义：如果$y\in S，y{\le }_{K}x$ 可以推出y=x，称x是S的极小元。（任何小于等于x的点是其本身）

定理25*：一个集合可以有多个极小元（极大元）。

ps.极小元和最小元的含义、图示
示例：
对称矩阵集合中的最小元和极小元：1.正定矩阵与椭圆的关系；2.包含特定点的最小和极小椭圆。

2.6.对偶锥(极锥)与广义不等式

2.6.1.对偶锥（极锥）

Def 26 对偶锥的定义：K*={$y|x^{T}y\ge 0,任意x\in K$}，其中K是锥。

定理26 对偶锥K*是凸锥，即使K不是凸锥。

ps.对偶锥的几何含义
示例：
1.子空间的对偶锥是其正交补；
2.非负象限的对偶锥是其本身（自对偶）；
3.半正定锥的对偶锥是其本身；
4.范数锥的对偶

定理27（对偶锥的性质）：
（1）K是闭凸锥；
（2）$K_1\subseteq K_2，则K_2^{\ast }\subseteq K_2^{\ast }$；
（3）如果K有非空内部，那么K是尖的；
（4）如果K的闭包是尖的，那么K*有非空内部；
（5）K**是K的凸包的闭包，如果K是闭凸的，则K **=K 。

推论27：如果K是一个正常锥，那么它的对偶K*也是对偶锥（性质(1)(3)(4)），进一步，K**=K(性质(5))。

2.6.2.广义不等式的对偶

Def 27 广义不等式的对偶定义：正常锥的对偶锥得到的广义不等式（推论27：正常锥K的对偶锥K*是正常锥，且K**=K）

定理28（广义不等式及其对偶的关系）
(1) $x{\le }_{K}y$当且仅当对于任意$\lambda {\ge }_{K}0有{\lambda }^{T}x\le {\lambda }^{T}y$;
(2) $x{<}_{K}y$当且仅当对于任意$\lambda {>}_{K}0和\lambda \ne 0$有${\lambda }^{T}x\le {\lambda }^{T}y$;
(3) 以上两式中K*和K可以互换（由于K**=K）。

示例：对比 “定理20：K是半正定锥”

定理29（线性严格广义不等式的择一定理）：严格线性不等式$Ax{<}_{K}b（2.17）$与 $\lambda \ne 0，\lambda {\ge }_K\ast 0，A^T\lambda =0，{\lambda }^{T}b\le 0$（2.18）构成一对一择一选择，即对于任意A和b，两者中仅有一组有解。

2.6.3.对偶不等式定义的最小元和极小元

定理30（最小元的对偶性质） ：（1）x是S上关于广义不等式${\le }_K$的最小元的充要条件是对于所有$\lambda {>}_K\ast 0$，x是在$z\in S$上极小化${\lambda }^{T}z$的唯一最优解。
（2）几何含义：对于任意$\lambda {>}_K\ast 0$，超平面{$z|{\lambda }^T(z-x)=0$}是在x处对S的一个严格支撑超平面。

定理31（极小元的对偶性质）：（1）如果存在$\lambda {>}_K\ast 0$并且x是在$z\in S$上极小化${\lambda }^{T}z$，那么x是极小的；
（2）逆命题不一定成立：S的极小元x可以对于任意λ都不是$z\in S$上极小化${\lambda }^{T}z$的解；
（3）添加凸性条件，逆定理成立：如果集合S是凸集，对于任意极小元x，存在非0的$\lambda {\ge }_K\ast 0$ 使得x在在$z\in S$上极小化${\lambda }^{T}z$。
（4）注意：性质（1）中的λ不能是$\lambda {\ge }_K\ast 0$，性质（3）中的λ不能是$\lambda {>}_K\ast 0$（反例）

示例：Pareto最优制造前沿