02 凸优化理论-凸集

02 凸集

目录
2.1.仿射集合和凸集
2.2.重要的例子
2.3.保凸运算

2.5.分离与支撑超平面

2.4.正常锥与广义不等式
2.6.对偶锥与广义不等式

2.1 仿射集合和凸集

2.1.2 仿射集合

2.1.1直线与线段的定义、几何含义
Def 1 仿射集合的定义

(一)仿射组合&仿射包

Def 2 仿射组合&仿射包的定义

引理1:一个仿射集包含其中任意两点的仿射组合[定义]→一个仿射集包含其中任意多点的仿射组合

定理1:仿射包 aff( C)是包含C的最小的仿射集合,也就是说,S是满足C⊆S的仿射集合,则aff( C)⊆S

(二)仿射集的刻画

定理2(仿射集是子空间的平移):(1)如果C是一个仿射集合并且x0∈C,则集合V=C-x0是一个子空间,即关于加法和乘法是封闭的;
(2)任意仿射集合C都可以表示为C=V+x0,∀x0∈C,其中x0的选取与V无关。

推论2(仿射集等价于线性方程组的解集):任意仿射集等价于一个线性方程组的解集。

(三)2.1.3 仿射维数与相对内部

Def 3 仿射维数的定义:集合C的仿射维数是其仿射包的维数,即其平行子空间的维数。
ps. 平面上单位圆环的仿射维数为2,而大多数维数定义下为1。

Def 4 相对内部&相对边界的定义:仿射包的内部
ps. 相对内部和内部的区别:仿射维数与空间维数的关系

2.1.4 凸集

Def 5 凸集的定义
Def 6 凸组合&凸包的定义

引理3:一个凸集包含其中任意两点的凸组合[定义]→一个凸集包含其中任意多点的凸组合

定理3:凸包conv( C)是包含C的最小的凸集,也就是说,B是满足C⊆B的凸集,则aff( C)⊆B

凸组合概念的扩展[无穷级数、积分、概率分布]

2.2 重要的例子

(一)凸锥

2.1.5 锥

Def 7 锥、凸锥的定义,几何含义&等价定义
Def 8 锥组合&锥包的定义

引理4:一个凸锥包含其中任意两点的锥组合[定义]→一个凸锥包含其中任意多点的锥组合

定理4:锥包是包含C的最小的凸锥,也就是说,B是满足C⊆B的凸锥,则cone( C)⊆B

2.2.3 范数锥

Def 9 范数锥的定义
示例:二阶锥(二次锥/Lorentz锥/冰淇淋锥):由Euclid范数定义的范数锥

2.2.5 半正定锥

Def 10 对称矩阵、对称半正定矩阵、对称正定矩阵的定义

定理5*:对称半正定矩阵是凸锥

定理6*:对称正定矩阵是对称半正定矩阵的内部

示例:二阶对称半正定矩阵的元素

(二)球体

2.2.3 范数球

Def 11 范数球的定义

2.2.2 Euclid球和椭球

Def 12 Euclid球的定义:由Euclid范数定义的范数球
ps. Euclid球两种形式的表述

定理7:Euclid球是凸集(只用到范数的齐次性和三角不等式)

Def 13 椭球的定义[两种表述]

(三)多面体

2.2.1 超平面与半空间

Def 14 超平面的定义&几何含义
Def 15 半空间的定义&几何含义、半开空间

2.2.4 多面体

Def 16 多面体的定义&矩阵表示
Def 17 多胞体的定义:有界的多面体
示例:非负象限(多面体锥)

重要的例子:单纯形

Def 18 仿射独立的定义

定理8:仿射独立与线性独立的关系

Def 19 单纯形的定义:有限个仿射独立的点生成的凸包
示例:1.一维、二维、三维单纯性;2.单位单纯性;3.概率单纯性

定理9(单纯性的多面体描述):将单纯形转换为多面体形式

多面体的凸包描述

定理10(凸包形式与多面体形式的转换):(1)凸包是多面体,但无法简单地用多面体形式表示;(2*)凸包扩展式与多面体形式可以相互转换

示例:Rn中无穷范数下单位球的凸包和多面体形式

2.3 保凸运算

2.3.1 交集

定理11*:交集运算(有限&无穷)是保凸的

示例:多面体是半平面和超平面的交集
示例1:半正定锥是无穷个半空间的交集
示例2:无穷个平板的交集

定理12*:(1)半空间的交集是凸集(如上示例);(2)每一个闭凸集是半空间的交集,即一个闭集是包含它的所有半空间的交集;(3)每个仿射集都是有限个超平面的交集

2.3.2 仿射变换

Def 20:仿射变换的定义

定理13*:仿射变换/逆变换是保凸的

运算示例
1.凸集的伸缩和平移是凸的;
2.凸集向它的某几个坐标的投影是凸的;
3.两个凸集的是凸的;
4*.两个凸集的部分和是凸的:交集和两个凸集的和是其特殊情况;
5.直积运算是保凸的:两个凸集和的逆运算;

凸集示例
1.多面体;
2.线性矩阵不等式的解:半正定锥的原像;
3.双面锥:二阶锥的原像;
4.椭球:单位Euclid球的像;

2.3.3 线性分式及透视函数

(一)透视函数

Def 21:透视函数的定义、小孔成像解释

定理14:凸集在透视函数下的像/原像是凸集

(二)线性分式函数[投射函数]

Def 22:线性分式函数的定义:仿射函数复合透视函数
:线性分式函数的投射解释、几何解释、投射/逆投射变换

定理15:线性分式函数的像/原像是保凸的

示例:条件概率是线性分式变换
ps. 二维空间中集合在线性分式函数下像与原像的图形比较

2.5 分离与支撑超平面

2.5.1 超平面分离定理

(一)超平面分离定理

引理16(钝角原理的推论)*:当集合C和D为闭集,且至少有一个有界,则存在 c ∈ C c \in C cC d ∈ D d \in D dD 达到两个集合间的最小距离,即 dist(C,D)。

定理16(超平面分离定理):假设C和D是两个不相交的凸集,那么存在 a ≠ 0 a \neq 0 a=0 和 b使得对于所有 x ∈ D x \in D xD a T x ≥ b a^Tx\geq b aTxb

示例:仿射集与凸集的分离:分离函数满足的条件

(二)超平面严格分离定理

定理17(超平面严格分离定理)*:(1)两个凸集都是闭集不一定能严格分离;(2)在某些特殊情况下,可以构造严格分离。

示例

定理18(点与闭凸集的严格分离):令C为闭凸集,而 x 0 ∉ C x_0 \notin C x0/C,那么存在将x_0与C 严格分离的超平面。

推论18:一个闭凸集是包含它的所有半空间的交集

(三)超平面分离定理的逆定理

定理18(超平面分离定理的逆定理):(1)两个凸集C和D存在分离超平面,但这两个集合不一定不相交(超平面分离定理的逆定理不成立);(2)给凸集C和D添加额外的条件,才有逆定理成立,从而构成等价定理。

示例:

定理19:两个集合C和D是凸集,如果其中至少一个是开集,那么当且仅当存在分离超平面时,它们不相交。

超平面分离定理的应用:示例

定理20(严格线性不等式的择一定理):严格线性不等式Ax λ ≠ 0 , λ ≥ 0 , A T λ = 0 , λ T b ≤ 0 λ \neq 0,λ\geq0,A^Tλ=0,λ^Tb\leq0 λ=0λ0ATλ=0λTb0(2.18)构成一对一择一选择,即对于任意A和b,两者中仅有一组有解。

2.5.2 支撑超平面

Def 23 支撑超平面的定义、几何含义

定理21(支撑超平面定理):对于任意非空的凸集C和任意 x 0 ∈ b d C x_0 \in bdC x0bdC,在 x 0 x_0 x0处存在C的支撑超平面。 Pf:C的内部是空集;C的内部非空

定理22(支撑超平面定理的逆定理)*:如果一个集合是闭集,具有非空内部,并且其边界上每个点均存在支撑超平面,那么它是凸的。

2.4.正常锥与广义不等式

2.4.1正常锥&广义不等式

Def 24 正常锥的定义:尖的非空内部闭凸锥
Def 25 广义不等式的定义:由正常锥定义 R n R^n Rn上的偏序关系、严格偏序关系
示例
1.K是非负象限(分量不等式);
2.K是半正定锥(矩阵不等式);
3.K是[0,1]上的非负多项式锥;

定理23(广义不等式的性质) :(1)广义不等式的性质;(2)严格广义不等式的性质。(与普通的不等式有类似的性质)

2.4.2.最小与极小元

定理24 一般的广义不等式(不是普通的不等式)不是线性序的,即任意两点不一定具有大小的可比性。因此,最大元和极小元在概念上不同。

Def 26 最小元的定义:对于每个 y ∈ S y \in S yS,均有 x ≤ K y x\leq_Ky xKy,称x是S的最小元。(所有点都比他大)

定理24*:如果一个集合有最小元(最大元),那么它们是唯一的。

Def 27 极小元的定义:如果 y ∈ S , y ≤ K x y \in S,y\leq_Kx ySyKx 可以推出y=x,称x是S的极小元。(任何小于等于x的点是其本身)

定理25*:一个集合可以有多个极小元(极大元)。

ps.极小元和最小元的含义、图示
示例:
对称矩阵集合中的最小元和极小元:1.正定矩阵与椭圆的关系;2.包含特定点的最小和极小椭圆。

2.6.对偶锥(极锥)与广义不等式

2.6.1.对偶锥(极锥)

Def 26 对偶锥的定义:K*={ y ∣ x T y ≥ 0 , 任意 x ∈ K {y|x^Ty\geq0,任意x \in K} yxTy0,任意xK},其中K是锥。

定理26 对偶锥K*是凸锥,即使K不是凸锥。

ps.对偶锥的几何含义
示例
1.子空间的对偶锥是其正交补;
2.非负象限的对偶锥是其本身(自对偶);
3.半正定锥的对偶锥是其本身;
4.范数锥的对偶

定理27(对偶锥的性质)
(1)K是闭凸锥;
(2) K 1 ⊆ K 2 ,则 K 2 ∗ ⊆ K 2 ∗ K_1\subseteq K_2,则K^*_2\subseteq K^*_2 K1K2,则K2K2
(3)如果K有非空内部,那么K
是尖的;
(4)如果K的闭包是尖的,那么K*有非空内部;
(5)K**是K的凸包的闭包,如果K是闭凸的,则K **=K 。

推论27:如果K是一个正常锥,那么它的对偶K*也是对偶锥(性质(1)(3)(4)),进一步,K**=K(性质(5))。

2.6.2.广义不等式的对偶

Def 27 广义不等式的对偶定义:正常锥的对偶锥得到的广义不等式(推论27:正常锥K的对偶锥K*是正常锥,且K**=K)

定理28(广义不等式及其对偶的关系)
(1) x ≤ K y x\leq_Ky xKy当且仅当对于任意 λ ≥ K 0 有 λ T x ≤ λ T y λ \geq_K 0有λ^Tx\leqλ^Ty λK0λTxλTy;
(2) x < K y x<_Ky x<Ky当且仅当对于任意 λ > K 0 和 λ ≠ 0 λ >_K 0和λ \neq 0 λ>K0λ=0 λ T x ≤ λ T y λ^Tx\leqλ^Ty λTxλTy;
(3) 以上两式中K*和K可以互换(由于K**=K)。

示例:对比 “定理20:K是半正定锥”

定理29(线性严格广义不等式的择一定理):严格线性不等式 A x < K b ( 2.17 ) Ax<_Kb(2.17) Ax<Kb2.17 λ ≠ 0 , λ ≥ K ∗ 0 , A T λ = 0 , λ T b ≤ 0 λ \neq 0,λ\geq_K*0,A^Tλ=0,λ^Tb\leq0 λ=0λK0ATλ=0λTb0(2.18)构成一对一择一选择,即对于任意A和b,两者中仅有一组有解。

2.6.3.对偶不等式定义的最小元和极小元

定理30(最小元的对偶性质) :(1)x是S上关于广义不等式 ≤ K \leq_K K的最小元的充要条件是对于所有 λ > K ∗ 0 λ>_K*0 λ>K0,x是在 z ∈ S z \in S zS上极小化 λ T z λ^Tz λTz的唯一最优解。
(2)几何含义:对于任意 λ > K ∗ 0 λ>_K*0 λ>K0,超平面{ z ∣ λ T ( z − x ) = 0 z|λ^T(z-x)=0 zλT(zx)=0}是在x处对S的一个严格支撑超平面。

定理31(极小元的对偶性质):(1)如果存在 λ > K ∗ 0 λ>_K*0 λ>K0并且x是在 z ∈ S z \in S zS上极小化 λ T z λ^Tz λTz,那么x是极小的;
(2)逆命题不一定成立:S的极小元x可以对于任意λ都不是 z ∈ S z \in S zS上极小化 λ T z λ^Tz λTz的解;
(3)添加凸性条件,逆定理成立:如果集合S是凸集,对于任意极小元x,存在非0的 λ ≥ K ∗ 0 λ\geq_K*0 λK0 使得x在在 z ∈ S z \in S zS上极小化 λ T z λ^Tz λTz
(4)注意:性质(1)中的λ不能是 λ ≥ K ∗ 0 λ\geq_K*0 λK0,性质(3)中的λ不能是 λ > K ∗ 0 λ>_K*0 λ>K0(反例)

示例:Pareto最优制造前沿

你可能感兴趣的:(优化理论与随机控制,python,开发语言)