凸优化1——仿射集、凸集、锥

概念

$设有k个点x_1,x_2,\dots ,x_k\in C，C是一个集合，有k个实数{\theta }_1,{\theta }_2,\dots ,{\theta }_k\in R$
对于组合：
$${\theta }_1{x}_1+{\theta }_2{x}_2+\dots +{\theta }_k{x}_k$$

• 称为仿射组合：当满足条件：${\theta }_1+{\theta }_2+\cdots +{\theta }_k=1$
• 称为凸组合：当满足条件：${\theta }_1+{\theta }_2+\cdots +{\theta }_k=1且{\theta }_i\ge 0,i=1,2,\cdots ,k$
• 称为锥组合：当满足条件：${\theta }_i\ge 0,i=1,2,\cdots ,k$

1.1 仿射集

如果集合$C$中任意点的仿射组合仍然在集合$C$中，则集合$C$是仿射的，称为仿射集

关于集合$C$的子空间

如果$C是一个仿射集合并且x_0\in C,则集合$
$$V=C-x_0=\{x-x_0|x\in C\}$$
是一个子空间，即关于加法和数乘是封闭的。
仿射集合$C$可以表示为：
$$C=V+x_0=\{v+x_0|v\in V\}$$
即一个子空间加上一个偏移。

• 与仿射集合$C$相关的子空间$V与x_0$的选取无关，所以$x_0$可以是$C$中的任意一点。
• 与仿射集合$C$相关的子空间$V$一定是过零点的，因为$x_0\in C$，对于$C$中所有$x$都执行$x-x_0$，那么点$x_0$也会执行$x_0-x_0$，所以子空间必然会过零点。

仿射包

包含集合$C$中所有点的仿射组合的集合称为仿射包，记为$\mathbf{a}\mathbf{f}\mathbf{f}C$:
$$\mathbf{a}\mathbf{f}\mathbf{f}C=\{{\theta }_1{x}_1+\cdots +{\theta }_k{x}_k|x_1,\cdots ,x_k\in C,{\theta }_1+\cdots +{\theta }_k=1\}$$

常见的仿射集

• 线性方程组的解集
  $C=\{x|Ax=b\}$，与仿射集合$C$相关联的子空间就是$A$的零空间。反之，任意仿射集合可以表示为一个线性方程组的解集
• 空集$\varnothing$、点、直线、平面都是仿射的

1.2 凸集

如果集合$C$中任意点的凸组合仍在$C$中，则集合$C$是凸集
由于仿射集包含穿过集合中任意不同点的整条直线，任意不同两点间的线段自然也在集合中，所以仿射集是凸集

• 点的凸组合可以看做它们的混合或加权平均。
• 粗略地，凸集中的每一个点都可以被其他点沿着它们之间一条无阻碍的路径看见

凸包

包含集合$C$中所有点的凸组合的集合称为凸包，记为$\mathbf{c}\mathbf{o}\mathbf{n}\mathbf{v}C$，凸包是包含集合$C$的最小凸集。
$$\mathbf{c}\mathbf{o}\mathbf{n}\mathbf{v}C=\{{\theta }_1{x}_1+\cdots +{\theta }_k{x}_k|x_i\in C,{\theta }_i\ge 0,i=1,\cdots ,k,{\theta }_1+\cdots +{\theta }_k=1\}$$

常见的凸集

• 空集$\varnothing$、点、线段、多边形

1.3 锥

如果对于任意$x\in C和\theta \ge 0都有\theta x\in C$，我们称集合$C$是锥或者非负齐次。如果集合$C$是锥，且是凸的，则称为凸锥。
也就是说所有集合$C$中任意点的锥组合都在集合$C$中，则集合$C$是凸锥。

• 锥都是过零点的（因为$\theta$可以等于0）。
• 从零点出发的射线是锥
• 凸锥都是凸集

锥包

包含集合$C$中所有点的锥组合的集合称为锥包：
$$\{{\theta }_i{x}_i+\cdots +{\theta }_k{x}_k|x_i\in C,{\theta }_i\ge 0,i=1,\cdots ,k\}$$

常见的凸锥

• 顶点位于0的扇形
• 顶点位于0的射线
• 位于0的单点集合

一些例子

• 空集$\varnothing$、任意一点（即单点集）$\{x_0\}$，全空间${\mathbf{R}}^n$都是${\mathbf{R}}^n$的仿射（自然也是凸的）子集。
• 任意直线都是仿射的。如果直线过零点，则是子空间，因此也是凸锥。
• 一条线段是凸的，但不是仿射的（除非退化成一个点）
• 一条射线，即具有形式$\{x_0+{\theta }_v|\theta \ge 0\},v\ne 0$的集合，是凸的，但不是仿射的，如果射线的基点$x_0$是0，则它是凸锥。
• 任意子空间是仿射的、凸锥（自然也是凸的）

2.1 超平面与半空间

超平面是具有下面形式的集合：
$$\{x|a^{T}x=b\},a\in {\mathbf{R}}^n,a\ne 0且b\in \mathbf{R}$$
解析地，超平面是关于$x$的非平凡线性方程的解空间。几何上，可以解释为法线方向为$a$的超平面，而常数$b\in \mathbf{R}$决定了这个平面从原点的偏移。
一个超平面将${\mathbf{R}}^n$划分为两个半空间。

• 超平面是仿射的，自然也是凸的。
• 半空间是凸的，不是仿射的。

2.2 Euclid球和椭球

球
${\mathbf{R}}^n$中的空间Euclid球具有下面的形式：
$$B(x_c,r)=\{x|\Vert x-x_c{\Vert }_2\le r\}=\{x|(x-x_c{)}^T(x-x_c)\le r^2\}$$，
其中$r>0,\Vert \cdot {\Vert }_2$表示Euclid范数。向量$x_c$是球心，$r$为半径。

• Euclid球是凸集（利用三角不等式可以证明）
• 当半径为0时，为仿射集，当半径为0且球心在0处时，是凸锥

椭球

$$ϵ=\{x|(x-x_c{)}^T{P}^{-1}(x-x_c)\le 1\}$$
其中$P=P^T\succ 0$，是对称正对矩阵。向量$x_c\in \mathbf{R}$是椭球的中心。矩阵$P$决定了椭球从球心向各个方向扩展的幅度。半轴长度有$P$的奇异值决定。

• 椭球是凸集

2.3 多面体polyhedron

多面体被定义为有限个线性等式和不等式的解集：
$$\mathcal{P}=\{x|a_j^{T}x\le b,j=1,\cdots ,m,c_j^{T}x=d_j,j=1,\cdots ,p\}$$
多面体是有限个半空间和超平面的交集。

• 多面体不一定都是有界的
• 多面体是凸集
• 仿射集合、射线、线段、半空间都是多面体

单纯形 simplex
设$k+1$个点$v_0,\dots ,v_k\in {\mathbf{R}}^n$仿射独立，即$v_1-v_0,\dots ,v_k-v_0$线性独立，那么这些点决定了一个单纯形，如下：
$$C=\mathbf{c}\mathbf{o}\mathbf{n}\mathbf{v}\{v_0,\dots ,v_k\}=\{{\theta }_0{v}_0+\dots +{\theta }_k{v}_k|\theta \succ 0,1^T\theta =1\}$$

• 单纯形是一类重要的多面体

2.4半正定锥

对称矩阵集合：${\mathbf{S}}^n=\{X\in {\mathbf{R}}^{n\times n}|X=X^T\}$
半正定对称矩阵集合：${\mathbf{S}}_{+}^n=\{X\in {\mathbf{S}}^n|X⪰0\}$
正定对称矩阵集合：${\mathbf{S}}_{++}^n=\{X\in {\mathbf{S}}^n|X\succ 0\}$

• 集合${\mathbf{S}}^n$是一个凸锥
• 集合${\mathbf{S}}_{+}^n$是一个凸锥
• 集合${\mathbf{S}}_{++}^n$不是凸锥