凸优化笔记——1.凸集

本章目录

凸集与仿射集

1. 仿射集合 affine set
   定义：给定两点 $x_1,x_2\in R^n,x_1\ne x_2$，所有满足 $x=\theta x_1+(1-\theta )x_2,\theta \in R$ 的点。
   注意：仿射集包含过集合中任意两点的直线。
   例子：线性方程组的解集是仿射集，$C=\{x|Ax=b\}$。反之亦然，任何一个仿射集都可以表示为一组线性方程组的解。
2. 凸集 convex set
   定义：与仿射集类似，但要求 $\theta \in [0,1]$，即任取集合中$x_1,x_2$，两点之间的线段组成的集合。
   例子：
   
3. 凸组合与凸包 convex combination & convex hull
   凸组合定义：对于点 $x_1,x_2,\dots ,x_k$，所有满足如下形式的点
   $x={\theta }_1{x}_1+{\theta }_2{x}_2+\cdots +{\theta }_k{x}_k，{\sum }_{i=1}^k{\theta }_i=1,{\theta }_i\ge 0$
   凸包定义：记作 $convC$ ，集合C所有凸组合构成的集合。（对于非凸集来说，凸包是最小的包含该集合的凸集）
4. 凸锥 convex cone
   锥组合定义：对于 $x_1.x_2$， 所有满足 $x={\theta }_1{x}_1+{\theta }_2{x}_2，{\theta }_i\ge 0$ 形式的点。
   凸锥定义：包含集合内所有点的锥组合的集合。

一些例子

1. 超平面与半空间 hyperplanes & halfspaces
   超平面定义：满足如下形式的集合，$x=\{x|a^{T}x=b\},a\ne 0,a\in R^n,b\in R$，即为超平面。
   
   半空间定义：满足如下形式的集合，$x=\{x|a^{T}x\le b\},a\ne 0,a\in R^n,b\in R$，即为半空间。
   注意：上面两个定义中，a是法向量；超平面是仿射集（自然也是凸集），半空间是凸集。
2. 欧几里得球和欧几里得椭球 Euclidean Balls and Ellipsoids
   这里我们就用同一个表达式进行定义 $\{x|(x-x_C{)}^{T}P(x-x_c)\le 1\}$
   对于欧几里得球，矩阵P就是eyes（n），椭球就是对称正定矩阵。
   当然，也有其他表示方式，球$\{x_c+ru|\Vert u{\Vert }_2\le 1\}$，椭球$\{x_c+Au|\Vert u{\Vert }_2\le 1\}$，A为非奇异方阵。
3. 范数球和范数锥 Norm Balls and Norm Cones
   范数球和范数锥就很简单了。
   范数球：$\{x|\Vert x-x_c\Vert \le r\}$
   范数锥：$\{(x,t)|\Vert x\Vert \le t\}$
   这里提个小问题，二位情况下的$\infty$、1、2范数球和范数锥是什么样子的？
4. 多面体 Polyhedra
   多面体实际上就是有限个线性不等式方程组$Ax⪯b$和等式方程组$Cx=d$对应的超平面和半空间的交集。
   
5. 半正定锥 Positive Semidefinitive Cone
   半正定锥可能几何理解上有点难。我们仍然先给出定义。
   半正定锥：$S_{+}^n=\{X\in S^n|X⪰0\}$ S是对称方阵的意思
   性质：$X\in S_{+}^n\iff z^{T}Xz\ge 0forallz$
   相应的，正定锥就是广义大于0，没有等于。

保凸运算

1. 定义 by definition
   通过定义，我们可以验证一个集合是否为凸集。
2. 交集 intersection
   任意个凸集的交集也必为凸集。这里给出一个经典的例子。
   
3. 仿射函数 affine functions
   
4. 透视函数 perspective function
   
5. 线性分式函数 linear-fractional functions
   

广义不等式

（上一节偷懒了，直接放PPT，嘿嘿嘿）
广义不等式是定义于正常锥上的，那么什么是正常锥呢？
一个凸锥是正常锥，当它满足：
1）闭合（包括边界）
2）非空（内部非空）
3）有向（不包含直线）
例如，二维平面（n维一样）上的第一象限（包含xy正半轴），正定锥都是正常锥。

广义不等式可能不太好理解，不过我们依然可以通过举例子来理解，比如二维三维的情况，或者自己设一个矩阵。
广义不等式的重要性主要体现在帮助我们理解最小值和极小值上。

没错，从集合上来看，极小值和最小值这里不太好理解，不过相信简单直观从函数层面，大家就能很容易地理解了。

分割超平面与支撑超平面

这里感觉没什么好说的，支撑超平面，超平面分离，一目了然。

对偶锥与广义不等式

对偶锥这里需要大家好好理解以下，依然，我们可以考虑二维情况作图加深理解。这个主要是后面拉格朗日对偶问题上会有用到。

后面这部分直接截图了，主要是都是定义，实在也没有什么好分享的。。。偶有一些想法也记录上了，后面更深入地方再做仔细分享吧。