最优化方法(学习笔记)-第二章凸集

基本概念

仿射集Affine Set

定义：集合内任意两个不同的点，都可以形成一条直线，且直线上所有点都在该集合内，形如$x=\theta x_1+(1-\theta )x_2，\theta \in R$

$S=\{x|Ax=b\}$这种线性函数方程解类型就可以符合条件$x=\theta x_1+(1-\theta )x_2,A{x}_1=b,A{x}_2=b$
有$Ax=A(\theta x_1+(1-\theta )x_2)=\theta b+(1-\theta )b=b$

凸集Convex Set

定义：集合内任意两个不同的点，都可以形成一条线段，且线段上所有点都在该集合内，形如$x=\theta x_1+(1-\theta )x_2，\theta \in [0,1]$

凸组合Convex Combination

定义：假设有k个不同的点可组合成新点：$x=\sum _{i=1}^k{\theta }_i{x}_i，\sum _{i=1}^k{\theta }_i=1，{\theta }_i\ge 0$

假如要应用在凸集S里，采用数学归纳法：
k=2已经证明成立
k=n假设成立(作为新的点)$y=\sum _{i=1}^n{\eta }_i{y}_i\in S$，
接下来证明k=n+1:注意$\sum _{i=1}^{n+1}{\theta }_i=1=>(1-{\theta }_{n+1})=\sum _{i=1}^n{\theta }_i$
$x=\sum _{i=1}^{n+1}{\theta }_i{x}_i=\sum _{i=1}^n{\theta }_i{x}_i+{\theta }_{n+1}{x}_{n+1}=(1-{\theta }_{n+1})(\sum _{i=1}^n\frac{{\theta }_i{x}_i}{1-{\theta }_{n+1}})+{\theta }_{n+1}{x}_{n+1}$
$=(1-{\theta }_{n+1})(\sum _{i=1}^n\frac{{\theta }_i{x}_i}{\sum _{i=1}^n{\theta }_i})+{\theta }_{n+1}{x}_{n+1}=(1-{\theta }_{n+1})\sum _{i=1}^n{\eta }_i{y}_i+{\theta }_{n+1}{x}_{n+1}$
$=(1-{\theta }_{n+1})y+{\theta }_{n+1}{x}_{n+1}【两个任意的点y，x_{n+1}】$
得证，所以凸组合$x\in S$

凸包Convex Pull

定义：用一个最小集合涵盖（凸集S生成的）凸组合的所有点，这最小点集就是凸包。
存在$凸集V$，若$凸集S\subset V$，则$S的凸包\subseteq V$

凸锥Convex cone

cone锥的定义：$\forall x\in C，有\theta x\in C,且\theta \ge 0$
conic combination锥组合的定义：$x={\theta }_1{x}_1+{\theta }_2{x}_2，且{\theta }_1,{\theta }_2\ge 0$
convex cone凸锥：包含锥组合所有点的最小点集（两个边界的夹角小于180°）

(超)平面Hyperplanes|球体balls|椭球Ellipsoids

定义：法向量决定一个平面，所以$a^T(x-x_0)=0$，于是有公式$\{x|a^{T}x=b\}，a\ne 0$，a是一个向量，属于凸集+仿射集

半空间Halfspaces|

定义：公式$\{x|a^{T}x-b\le 0\}$，a是一个向量，属于凸集+非仿射集

证明：$S=\{x|a^{T}x-b>0\},x_1,x_2\in S$，凸集+非仿射集
$a^T{x}_1-b>0,a^T{x}_2-b>0$
$原式=a^T[\theta x_1+(1-\theta )x_2]-b=\theta (a^T{x}_1-b)+(1-\theta )(a^T{x}_2-b)$

• $\theta \in [0,1]，原式>0⟹convex$
• $\theta \in R，原式不确定符号⟹not-affine$

欧式球体Euclidean balls

定义：$中心x_c,半径r，B(x_c,r)=\{x|||x-x_c|{|}_2\le r\}=\{x_c+ru|||u|{|}_2\le 1\}$

椭球Ellipsoids

定义：$\sum _{i=1}^n\frac{x_i^2}{r_i^2}\le 1$，也可以写成$\{x|(x-x_c{)}^T{P}^{-1}(x-x_c)\le 1\}且P\in S_{++}^n(对称正定矩阵)，\{x_c+Au|||u|{|}_2\le 1\}$

类似马氏距离，马氏距离(Mahalanobis Distance)是度量学习中一种常用的距离指标，同欧氏距离、曼哈顿距离、汉明距离等一样被用作评定数据	之间的相似度指标。但却可以应对高维线性分布的数据中各维度间非独立同分布的问题。

马氏距离详细链接

可以允许P的特征值分解$P=u^T\sum u且u^T=u^{-1}，P是半径方向$
有$(x-x_c{)}^T{P}^{-1}(x-x_c)=(x-x_c{)}^T(u^T\sum u{)}^{-1}(x-x_c)$
$=(u(x-x_c){)}^T{\sum }^{-1}u(x-x_c)=y^T{\sum }^{-1}y=\sum _{i=1}^n\frac{y_i^2}{r_i^2}\le 1$

注意：$\frac{1}{r_i^2}=\frac{1}{{\lambda }_i},{\lambda }_i是P的特征值⟹r_i=\sqrt{{\lambda }_i}$

范数norm|带范数的锥norm cone

范数($||.|{|}_2，||.|{|}_1，||.|{|}_{\infty }，||.|{|}_p$)条件：

• $||x||\ge 0,仅当x=0时等号成立$
• $||tx||=|t|||x||,\forall t\in R$
• $||x+y||\le ||x||+||y||$

例如：
带范数的球norm ball：$\{x|||x-x_c||\le r\}$，属于凸集。
带范数的锥norm cone：$\{(x,t)|||x||\le t\}$，属于凸集。

证明：通过条件2&3&$||x_1-x_c||\le r,||x_2-x_c||\le r$，
$||\theta x_1+(1-\theta )x_2-x_c||=||\theta (x_1-x_c)+(1-\theta )(x_2-x_c)||$
$\le ||\theta (x_1-x_c)||+||(1-\theta )(x_2-x_c)||=\theta ||x_1-x_c||+(1-\theta )||x_2-x_c||$
$\le \theta r+(1-\theta )r=r$

多面体Polyhedra

定义：包含等式和不等式，逐点有$Ax<b，Cx=d，A\in R^{m\times n}，C\in R^{p\times n}$，属于凸集，是半空间和超平面的有限点的交集。

半正定矩阵的锥Positive semidefinite cone

定义：

• $n\times n$的对称矩阵(n阶方阵)：$S^n$，维度是$\frac{n(n+1)}{2}$
  $\left|\begin{array}{c}\left[\begin{array}{cc}x& y\\ y& z\end{array}\right]-\lambda I\end{array}\right|=0$
  $(x-\lambda )(z-\lambda )-y^2=0$
  ${\lambda }^2-(x+z)\lambda +xz-y^2=0$所以有：$xz-y^2\ge 0，\frac{x+z}{2}>0$
• 半正定的对称矩阵：$S_{+}^n=X=\{s\in S^n|x\ge 0\},就是任意非零向量z\in R^n，都有（二次型）z^{T}Xz\ge 0$，属于凸集。
  • 
  • 半正定矩阵的行列式是非负的；所有主子式均为非负的；所有特征值均为非负的；
    比如：$z^{T}Xz=(z_1+z_2{)}^2\ge 0$
  • （顺序主子式非负并不能推出矩阵是半正定的）；
  • 存在实矩阵$C，使得X=C^{T}C$
  • 存在秩为r的$r\times n$实矩阵$B，使得X=B^{T}B$
  • 两个半正定矩阵的和是半正定的；非负实数与半正定矩阵的数乘矩阵是半正定的
• 正定的对称矩阵：$S_{++}^n=X=\{s\in S^n|x>0\}$
  • 正定矩阵的行列式恒为正；一切顺序主子式均为正；所有特征值均为正；
    比如：$z^{T}Xz=z_1^2+z_2^2>0$
  • 正定实对称矩阵，与单位矩阵合同；
    实对称矩阵，矩阵转置等于本身
  • 存在实可逆矩阵$C，使得X=C^{T}C$
  • 存在秩为n的$m\times n$实矩阵$B，使得X=B^{T}B$
  • 存在主对角线元素全为正的实三角矩阵$R，使得X=R^{T}R$
  • 两个正定矩阵的和是正定矩阵；实数与正定矩阵的乘积是正定矩阵。
• 正定、半正定矩阵：直觉，代表一个向量经过它的变化后的向量与其本身的夹角小于等于90度。
  $cos(\theta )=\frac{z^T(Xz)}{||z||\ast ||(Xz)||}\ge 0$

保凸运算Operations that preserve convexity

证明是凸集C的方法：

• 定义法
  $x_1,x_2\in C,\theta \in [0,1]=>x=\theta x_1+(1-\theta )x_2\in C$
• 通过简单集合(超平面，多面体，球体)变化求证（主要是以下二级标题的四种）

求交集Intersection

定义：

• 假设：$x_1,x_2\in C_1\cap C_2$
• 结论：$\theta x_1+(1-\theta )x_2\in C_1\cap C_2$

例子：
$S=\{x\in R^m||p(t)|\le 1for|t|\le \frac{\pi }{3}\}$
$p(t)=x_{1}cost+x_{2}cos2t+...+x_{m}cosmt=(cost,cos2t,...,cosmt)\left(\begin{array}{c}{x}_1\\ x_2\\ .\\ .\\ .\\ x_m\end{array}\right)=C(t{)}^{T}x$
$S_t=\{x\in R^m||P(t)|\le 1\}=\{x\in R^m|P(t)\le 1\}\cap \{x\in R^m|P(t)\ge -1\}（2个半空间的交集）$
所以$S={\cap }_{|t|\le \frac{\pi }{3}}{S}_t$
若m=2，有下图

仿射变换Affine function

定义：

• 假设：若$f(x)=Ax+b,A\in R^{m\times n},b\in R^m$
• 结论：那么有仿射集 $f:R^n->R^m$

线性变换只能保证从（线性-1）到（线性-2），（曲线）可变（直线/曲线）
所以凸集线性变换后仍是凸集，但是凹集B（非满秩）可变为凸集A，B在线性变换下的原像是一个包含A的凸集
若$S\subseteq R^n是凸集$

• $=>f(S)=\{f(x)|x\in S\}是凸集$
• $=>f^{-1}(C)=\{x|f(x)=C\}是凸集$

例子：
scaling（尺度变换），translation（平移），projection（投影），hyperbolic cone（双曲锥）
比如：（推导-仿射变换）双曲锥：$\{x|x^{T}Px\le (C^{T}x{)}^2，C^{T}x\ge 0\}，P\in S_{+}^n(半正定矩阵，对角化P^{\frac{1}{2}}不一定可逆)$

• 将P转换：$P=A^{T}A，A$是实矩阵
• 设$C^{T}x=t$
• 于是仿射变换$x^{T}Px=z^{T}z$
• 得到$S^{\prime }=\{z|z^{T}z\le t^2,t\ge 0\}$(二阶锥second-order cone属于凸集)
• 所以S也是凸集（convex）

感知函数Perspective function

定义：

• $P：R^{n+1}\to R^n$
• $f(x,t)=\frac{x}{t}，domP=\{(x,t)|t>0\}$(小孔成像类似投影)

证明：凸集经过感知函数P仍然是凸集
假设：$x,y\in C,\theta x+(1-\theta )y\in C,\theta \in [0,1],P(x)=\frac{x}{x_{n+1}}$
结论：$\theta P(x)+(1-\theta )P(y)\in P(C)$
推导：$P(\theta x+(1-\theta )y)=\frac{\theta x+(1-\theta )y}{(\theta x+(1-\theta )y{)}_{n+1}}$

$=\frac{\theta x+(1-\theta )y}{\theta x_{n+1}+(1-\theta )y_{n+1}}=\frac{\theta \frac{x}{x_{n+1}}{x}_{n+1}+(1-\theta )\frac{y}{y_{n+1}}{y}_{n+1}}{\theta x_{n+1}+(1-\theta )y_{n+1}}$

$=\frac{\theta P(x)x_{n+1}+(1-\theta )P(y)y_{n+1}}{\theta x_{n+1}+(1-\theta )y_{n+1}}=\alpha P(x)+(1-\alpha )P(y)$

其中$\alpha =\frac{\theta x_{n+1}}{\theta x_{n+1}+(1-\theta )y_{n+1}}$

线性分式函数Linear-fractional function

定义：

• $f：R^n\to R^m$
• $f(x)=\frac{Ax+b}{C^{T}x+d}，domf=\{x|C^{T}x+d>0\}$(仿射变换($Ax+b$)+感知函数($C^{T}x+d>0$)的组合)
  结论：其原象（image）和反象（逆inverse）都是保持凸性的，线性分式函数是能保持凸性的运算
  例子：性状（凹凸/角）基本不变，就是部分拉伸
  

广义不等关系

好锥proper cone

定义：凸集$K\subseteq R^n$满足以下条件就是一个好的锥（proper cone）

• K要包含边界(closed-闭/边界线)
• K不是一条射线(solid-有内点/实心)
• K是有方向的,不包含其反方向(pointed-尖)
  pointed cone尖锥

举例：

• 非负实数集：$K=R_{+}^n=\{x\in R^n|x_i\ge 0,i=1,...,n\}$
• 对称半正定矩阵的锥positive semidefinite cone：$K=S_{+}^n$，内部是一个对称正定矩阵
• 非负多项式nonnegative polynominal：$K=\{x\in R^n|x+x_{2}t+x_3{t}^2+...+x_n{t}^{n-1}\ge 0，fort\in [0,1]\}$

偏序Generalized Inequality

偏序：部分元素的二元关系成立；全序：任何一对元素的二元关系都成立
全序关系必定是偏序关系
定义：通过proper cone定义，是关于某种集合K

• $x{⪯}_{K}y⟺y-x\in K$
• $x{\prec }_{K}y⟺y-x\in IntK(指K的内点)$

例子ex：

• 分量偏序-componentwise inequality（$K=R_{+}^n$）每一个相减以后符号都一样
  $x{⪯}_{R_{+}^n}y$$⟺x_i\le y_i,i=1,...,n$
• 矩阵偏序-matrix inequality（$K=S_{+}^n$）每一个相减以后都是半正定矩阵
  $X{⪯}_{R_{+}^n}Y$$⟺Y-X\in S_{+}^n$

性质：支持加法运算
$x{⪯}_{K}y，u{⪯}_{K}v⟹(x+u){⪯}_K(y+v)$

由此可以比较找出最大/最小值

最小化Minimum

最小元Minimum elements定义：（w.r.t=with respect to）关于某种顺序K下，如果符合条件：$\forall y\in S⟹x{⪯}_{K}y$，那么x是集合S中的最小元【别的都比他大】。
任意的y都可以和x比较，举例$K=R_{+}^2$，下图中，单点$x_1$是$S_1$的最小元。

极小元Minimal elements定义：（w.r.t=with respect to）关于某种顺序K下，如果符合条件：$\forall y\in S，y{⪯}_{K}x⟹y=x$，那么x是集合S中的极小元【没有比他小的】。
举例$K=R_{+}^2$，下图中，点$x_2$所在的边界线是$S_2$的极小元。

(线性)可分超平面定理Separating hyperplane theorem

定义：
对于不相交（disjoint）的非空凸集C和D，存在一个向量$a\ne (0或b)$，都有$a^{T}x\le bforx\in C，a^{T}x\ge bforx\in D$，分割出C和D的超平面就是$\{x|a^{T}x=b\}$

最优化建模：
假设$坐标d\in D,坐标c\in C,||d-c||=inf(下确界)\{||u-v|||u\in D,v\in C\}$,
那么超平面符合$f(x)=(d-c{)}^T(x-\frac{d+c}{2})=0$
$（d-c是向量,和中点方向\frac{d+c}{2}垂直,所以用转置）$
证明：
$f(x)=\{\begin{array}{l}\ge 0，x\in D\\ \le 0，x\in C\end{array}$
$u\in D，f(u)\ge 0$
$(d-c{)}^T(u-\frac{d+c}{2})=(d-c{)}^T(u-d+\frac{d-c}{2})=(d-c{)}^T(u-d)+\frac{||d-c|{|}_2^2}{2}$

反证法：设$f(u)\le 0$，因为$\frac{||d-c|{|}_2^2}{2}$肯定大于0，所以$(d-c{)}^T(u-d)\le 0$

设置函数：$g(t)=||d-c+t(u-d)|{|}_2^2，g’(t)=2(d-c+t(u-d))$
有导数$g^{\prime }(0)=2(d-c{)}^T(u-d)\le 0$
所以：$\exists t>0,s.t(sothat)||d-c+t(u-d)|{|}_2^2<||d-c|{|}_2^2$，这与$d-c$是最小距离的假设相互矛盾

严格可分超平面
充分条件：例如：一个集合是闭的，一个集合是开的，那么，一定可分割

支撑面Supporting hyperplane theorem

定义：
点集C的边界点$x_0$上衍生出的一条直线$\{x|a^{T}x=a^T{x}_0\}$，保证C完全在线的某一侧
其中，向量$a\ne 0,且\forall x\in C,有a^{T}x\le a^T{x}_0$

性质：
如果C是凸集，那么C的每一个边界点都存在一个支撑面

对偶Dual cone

对偶定义

锥K的对偶定义：$K^{\ast }=\{y|y^{T}x\ge 0forallx\in K\}$（保证选取的向量，与锥内的点向量之间，都保持直角以下的关系）

对偶举例

• 自对偶self-dual cones
  • $K=R_{+}^n⟹K^{\ast }=R_{+}^n$(非负实数集)
  • $K=S_{+}^n⟹K^{\ast }=S_{+}^n$(半正定对称矩阵)
  • $K=\{(x,t)|||x|{|}_2\le t\}⟹K^{\ast }=\{(x,t)|||x|{|}_2\le t\}$(第二范数恒为正)
• 普通对偶
  • $K=\{(x,t)|||x|{|}_1\le t\}⟹K^{\ast }=\{(x,t)|||x|{|}_{\infty }\le t\}$(第一范数是绝对值，对偶是其向量的最大值)

对偶性质

• 对偶也是凸集convex
  $u,v\in K^{\ast },(\theta u+(1-\theta )v{)}^{T}x=\theta u^{T}x+(1-\theta )v^{T}x\ge 0,所以对\theta \in [0,1],有\theta u+(1-\theta )v\in K^{\ast }$
  锥cone不一定是convex的，如下图
  
• $K^{\ast \ast }是K$的凸包
  当$K$是凸集，$K^{\ast \ast }=K$，

对偶的偏序关系

proper cones的对偶也是proper的
其偏序的定义：$y{⪰}_{K^{\ast }}0⟺y^{T}x\ge 0forallx{⪰}_{K}0$
注意：$y\in K^{\ast },x\in K$

对偶的最小化

• 最小元minimum element
  $\forall 向量\lambda \in K^{\ast }(\lambda {⪰}_{K^{\ast }}0),\forall x,z\in S,有{\lambda }^{T}x\le {\lambda }^{T}z，所以x就是点集S关于对偶K^{\ast }的最小元$
  
• 极小元minimal element
  $\exists 向量\lambda \in K^{\ast }(\lambda {⪰}_{K^{\ast }}0),\forall x,z\in S,有{\lambda }^{T}x\le {\lambda }^{T}z，所以x就是点集S关于对偶K^{\ast }的极小元$
  

总结

• 基本概念
  • 凸集和仿射集
    凸集convex是$\theta \in [0,1]$,仿射集affine是$\theta \in R$，所以凸集不一定是仿射集
  • 凸组合和凸包
    两个x扩展到k个x的组合
  • 凸锥
    任意一个x，而且$\theta \ge 0$
  • 超平面和半空间
    超平面：凸+仿射；半空间：凸+非仿射
  • 球体和椭球
    半径的取值变换
  • 范数
    带范数的球和带范数的锥都是凸的
  • 多面体和半正定矩阵
    这些都是凸的
• 保凸运算
  通过简单集合(超平面，多面体，球体)变化求证
  • 交集
    就是求得半空间的交集
  • 仿射变换
    类似线性变换+平移，仍保持线性结构
  • 感知函数
    函数形式是分式，类似投影效果
  • 线性反分式函数
    感知函数的形式，分子利用了仿射变换
• 不等关系
  • 好锥的定义
    凸convex，闭closed，实solid，尖pointed
  • 偏序
    部分元素成立的二元关系
  • 最小化
    最小元-锥尖；极小元-底线
  • 可分超平面
    区分两个可分割的点集
  • 支撑面
    凸集的每个边界点都有支撑面
• 对偶
  • 定义
    向量-内积大于0，矩阵-迹大于0
  • 性质
    对偶是凸的，$K^{\ast \ast }是K$的凸包
  • 最小化
    最小元-锥尖-任意向量λ；极小元-由一个向量λ决定

如若笔记有误，欢迎指正批评。未来仍会不定期修正和补充。