凸优化——凸集与凸函数

一、数学规划
  从一个可行解的集合中，寻找出最优的元素，称为数学规划，又名优化。可以写为$$\begin{array}{rl}& minimize{f}_0(x)\\ & subjectto{f}_i(x)<=b_i,i=1,2,...,n\end{array}$$其中$x=[x_1,...,x_n{]}^T$，称为优化变量；$f_0:{\mathbf{R}}^n\to \mathbf{R}$称为目标函数；$f_i:{\mathbf{R}}^n\to \mathbf{R}$称为不等式约束。优化问题的最优解为$x^{\ast }$，等价于$$\forall z\in \{z|f_i(z)<=b_i\},f_0(z)>=f_0(x^{\ast })$$在图像处理中，对图像$I_0(x,y)$存在噪声，考虑恢复图像$I(x,y)$。考虑先验知识图像的分片光滑，则认为TV范数，形如$$||I|{|}_{TV}=\sum _y\sum _x[(I(x,y)-I(x,y-1){)}^2+(I(x,y)-I(x-1,y){)}^2{]}^{1/2}$$表示两方向差分的平方和开方求和，对于自然图像，TV范数一般较小。故可以化为优化问题：$$\begin{array}{rl}& minimize||I|{|}_{TV}+\lambda ||I-I_0|{|}_F^2\end{array}$$以确保恢复得到的图像光滑的同时，噪声图像与恢复图像相对接近。
  数学规划可以以不同角度分类，包括线性规划问题与非线性规划问题，该类以约束的线性判定；凸优化与非凸优化，该类以约束的凸性判定，凸优化与非凸优化有本质上的差别，线性规划是典型的凸优化问题；光滑优化与非光滑优化，该类以目标函数的可微性判定；连续优化与离散优化，该类以可行域判定，离散优化一般情况下的非凸优化问题；单目标与多目标问题，该类以目标函数的数量判定。

---

二、仿射集
  首先考虑空间不同的两点${\mathbf{x}}_1,{\mathbf{x}}_2\in {\mathbf{R}}^n$，为了表示过这两点的直线方程，定义变量$\theta \in \mathbf{R}$，则该直线为$$\mathbf{y}=\theta {\mathbf{x}}_1+(1-\theta ){\mathbf{x}}_2$$再考虑线段，考虑空间不同的两点${\mathbf{x}}_1,{\mathbf{x}}_2\in {\mathbf{R}}^n$，$\theta \in \mathbf{R}$，线段可以表示为$$\mathbf{y}=\theta {\mathbf{x}}_1+(1-\theta ){\mathbf{x}}_2，\theta \in [0,1]$$基于此，定义仿射集为，对于集合$\mathbf{C}$，$\forall x_1,x_2\in \mathbf{C}$，连接$x_1$与$x_2$的直线也在$\mathbf{C}$内，则称该集合为仿射集。该定义推广到n元仍然有效。
  首先考察仿射集的性质。取仿射集$\mathbf{C}$，定义$$\mathbf{V}=\mathbf{C}-x_0=\{x-x_0|x\in \mathbf{C},\forall x_0\in \mathbf{C}\}$$称$\mathbf{V}$为与$\mathbf{C}$相关的子空间。$\mathbf{V}$亦是一个仿射集，考虑$\forall v_1,v_2\in \mathbf{V}$，$\forall a,b\in \mathbf{R}$，考察$a{v}_1+b{v}_2+x_0$与$\mathbf{C}$的关系，有$$a{v}_1+b{v}_2+x_0=a(v_1+x_0)+b(v_2+x_0)+(1-a-b)x_0$$而其中易知$v_1+x_0\in \mathbf{C}$，$v_2+x_0\in \mathbf{C}$，$x_0\in \mathbf{C}$，故$a{v}_1+b{v}_2+x_0\in \mathbf{C}$，即$a{v}_1+b{v}_2\in \mathbf{V}$。故$\mathbf{V}$的性质为$$\forall v_1,v_2\in \mathbf{V},\forall a,b\in \mathbf{R},a{v}_1+b{v}_2+x_0\in \mathbf{C}$$在几何空间中体现为$\mathbf{C}$为任意超平面，而$\mathbf{V}$与$\mathbf{C}$平行且过原点。
  考虑$\mathbf{C}=\{\mathbf{X}|\mathbf{A}\mathbf{X}=\mathbf{b}\}$，并$\forall {\mathbf{X}}_1,{\mathbf{X}}_2\in \mathbf{C}$，则有$$\begin{gathered} \mathbf{A}{\mathbf{X}}_1=\mathbf{b} \\ \mathbf{A}{\mathbf{X}}_2=\mathbf{b} \end{gathered}$$再$\forall \theta \in R$，则有$$\begin{gathered} \theta \mathbf{A}{\mathbf{X}}_1=\mathbf{b} \\ (1-\theta )\mathbf{A}{\mathbf{X}}_2=\mathbf{b} \end{gathered}$$故有$$\theta \mathbf{A}{\mathbf{X}}_1+(1-\theta )\mathbf{A}{\mathbf{X}}_2=\mathbf{b}$$即$\theta {\mathbf{X}}_1+(1-\theta ){\mathbf{X}}_2\in \mathbf{C}$，因此线性方程组的解集是一个仿射集。考虑该解集的子空间$$\mathbf{V}=\{\mathbf{X}-{\mathbf{X}}_0|\mathbf{A}\mathbf{X}=\mathbf{b}\},\mathbf{A}{\mathbf{X}}_0=\mathbf{b}$$即$$\mathbf{V}=\{\mathbf{X}-{\mathbf{X}}_0|\mathbf{A}(\mathbf{X}-{\mathbf{X}}_0)=0\}$$考虑$$\mathbf{Y}=\mathbf{X}-{\mathbf{X}}_0$$则$\mathbf{V}=\{\mathbf{Y}|\mathbf{A}\mathbf{Y}=0\}$，即在高维空间中仍满足$\mathbf{V}$与$\mathbf{C}$平行并且过原点。
  考虑任意集合$\mathbf{C}$，为了构造该集合的最小仿射集，定义仿射包$$aff\mathbf{C}=\{{\theta }_1{\mathbf{X}}_1+...+{\theta }_k{\mathbf{X}}_k|\forall {\mathbf{X}}_1,...,{\mathbf{X}}_k\in \mathbf{C},{\theta }_1+...+{\theta }_k=1\}$$

---

三、凸集
  对于集合$\mathbf{C}$，$\forall x_1,x_2\in \mathbf{C}$，连接$x_1$与$x_2$的线段也在$\mathbf{C}$内，则称该集合为凸集。该定义推广到n元仍然有效。仿射集是一种特殊的凸集。
  考虑任意集合$\mathbf{C}$，为了构造该集合的最小凸集，定义凸包$$Conv\mathbf{C}=\{{\theta }_1{\mathbf{X}}_1+...+{\theta }_k{\mathbf{X}}_k|\forall {\mathbf{X}}_1,...,{\mathbf{X}}_k\in \mathbf{C},{\theta }_1,...,{\theta }_k\in [0,1],{\theta }_1+...+{\theta }_k=1\}$$  对于集合$\mathbf{C}$，$\forall \mathbf{x}\in \mathbf{C}$，对$\theta >=0$，有$\theta \mathbf{x}\in \mathbf{C}$，则称该集合为锥，锥一定经过原点。而对于集合$\mathbf{C}$，$\forall {\mathbf{x}}_1,{\mathbf{x}}_2\in \mathbf{C}$，对${\theta }_1,{\theta }_2>=0$，有${\theta }_1{\mathbf{x}}_1+{\theta }_2{\mathbf{x}}_2\in \mathbf{C}$，则称该集合为凸锥。考虑任意集合$\mathbf{C}$，可以定义凸锥包$$\{{\theta }_1{\mathbf{X}}_1+...+{\theta }_k{\mathbf{X}}_k|\forall {\mathbf{X}}_1,...,{\mathbf{X}}_k\in \mathbf{C},{\theta }_1,...,{\theta }_k>=0\}$$  凸集中有几种特殊的形式：一个点是仿射集、凸集，但仅有原点是凸锥；空集是仿射集、凸集、凸锥；${\mathbf{R}}^n$空间是仿射集、凸集、凸锥；${\mathbf{R}}^n$的子空间是仿射集、凸集、凸锥；任意直线是仿射集、凸集，过原点的直线式凸锥；任意线段是凸集，点是仿射集，原点是凸锥； 任意射线是凸集，点是仿射集，过原点的射线是凸锥。
  接下来考虑复杂情况。考虑超平面$\{\mathbf{x}|{\mathbf{a}}^T\mathbf{x}=b,\mathbf{a},\mathbf{x}\in {\mathbf{R}}^n,\mathbf{a}\ne 0,b\in \mathbf{R}\}$，在低维中表现为直线、平面。超平面是仿射集，凸集，超平面过原点，即子空间是一个凸锥。而半空间$\{\mathbf{x}|{\mathbf{a}}^T\mathbf{x}>b,\mathbf{a},\mathbf{x}\in {\mathbf{R}}^n,\mathbf{a}\ne 0,b\in \mathbf{R}\}$或$\{\mathbf{x}|{\mathbf{a}}^T\mathbf{x}<=b,\mathbf{a},\mathbf{x}\in {\mathbf{R}}^n,\mathbf{a}\ne 0,b\in \mathbf{R}\}$是一个凸集，不是一个仿射集，过原点时是一个凸锥；球$\{\mathbf{x}|||\mathbf{x}-{\mathbf{x}}_c|{|}_2<=r,{\mathbf{x}}_c\in {\mathbf{R}}^n\}$，低维中表现为圆、球体，是凸集，点是仿射集，原点是凸锥。考虑证明球是凸集，取球$B(\mathbf{x},{\mathbf{x}}_c)=\{\mathbf{x}|||\mathbf{x}-{\mathbf{x}}_c|{|}_2<=r,{\mathbf{x}}_c\in {\mathbf{R}}^n\}$，$\forall {\mathbf{x}}_1,{\mathbf{x}}_2\in B$，有$||{\mathbf{x}}_1-{\mathbf{x}}_c|{|}_2<=r,||{\mathbf{x}}_2-{\mathbf{x}}_c|{|}_2<=r$，考虑$\theta \in [0,1]$，有$$\begin{array}{rl}& ||\theta {\mathbf{x}}_1+(1-\theta ){\mathbf{x}}_2-{\mathbf{x}}_c|{|}_2\\ =& ||\theta ({\mathbf{x}}_1-{\mathbf{x}}_c)+(1-\theta )({\mathbf{x}}_2-{\mathbf{x}}_c)|{|}_2\\ \le & ||\theta ({\mathbf{x}}_1-{\mathbf{x}}_c)|{|}_2+||(1-\theta )({\mathbf{x}}_2-{\mathbf{x}}_c)|{|}_2\\ =& \theta ||({\mathbf{x}}_1-{\mathbf{x}}_c)|{|}_2+(1-\theta )||({\mathbf{x}}_2-{\mathbf{x}}_c)|{|}_2\\ \le & r\end{array}$$即球中元素的凸组合仍在球内，球是凸集；椭球$\{\mathbf{x}|(\mathbf{x}-{\mathbf{x}}_c{)}^T{\mathbf{P}}^{-1}(\mathbf{x}-{\mathbf{x}}_c)<=1,{\mathbf{x}}_c\in {\mathbf{R}}^n,\mathbf{P}\in {\mathbf{S}}_{++}^n\}$，其中${\mathbf{S}}_{++}^n$表示n维正定对称矩阵，$\mathbf{P}$决定了椭球的半轴长。考虑椭球$\{\mathbf{x}|(\mathbf{x}-{\mathbf{x}}_c{)}^T{\left(\begin{array}{cc}4& 0\\ 0& 1\end{array}\right)}^{-1}(\mathbf{x}-{\mathbf{x}}_c)<=1\}$，展开得$\{(x_1,x_2)|1/4x_1^2+x_2^2<=1\}$。椭球是凸集；多面体$\{\mathbf{x}|{\mathbf{a}}^T\mathbf{x}<=b_j,j=1,2,...m,{\mathbf{a}}^T\mathbf{x}=d_j,j=1,2,...p\}$，可以无界，多面体是凸集；单纯形，在${\mathbf{R}}^n$空间中选择${\mathbf{v}}_0,...,{\mathbf{v}}_k$共k+1个点，${\mathbf{v}}_1-{\mathbf{v}}_0,...,{\mathbf{v}}_k-{\mathbf{v}}_0$线性无关，则与上述点相关的单纯形为$Conv\{{\mathbf{v}}_0,...{\mathbf{v}}_k\}=\{{\theta }_0{\mathbf{v}}_0+...+{\theta }_k{\mathbf{v}}_k,\theta >=0,1^T\theta =1\}$。考虑二维情况，$k=1$时为线段，$k=2$时为三角形，$k>=3$时$\{{\mathbf{v}}_k\}$不能线性无关。考虑三维情况，单纯形是线段、三角形、正四面体。单纯形一定是一个多面体，考虑证明该命题。记单纯形$C$，$\mathbf{x}\in C,\mathbf{x}={\theta }_0{\mathbf{v}}_0+...+{\theta }_k{\mathbf{v}}_k,\theta >=0,1^T\theta =1$，${\mathbf{v}}_1-{\mathbf{v}}_0,...,{\mathbf{v}}_k-{\mathbf{v}}_0$线性无关。取$({\theta }_1,...,{\theta }_k{)}^T=\mathbf{y},({\mathbf{v}}_1-{\mathbf{v}}_0,...,{\mathbf{v}}_k-{\mathbf{v}}_0)=\mathbf{B}\in {\mathbf{R}}^{n\times k}$，则$1^T\mathbf{y}<=1,\mathbf{y}>=0$，则$$\begin{array}{rl}\mathbf{x}& ={\theta }_0{\mathbf{v}}_0+...+{\theta }_k{\mathbf{v}}_k\\ & ={\mathbf{v}}_0+{\theta }_1({\mathbf{v}}_1-{\mathbf{v}}_0)+...+{\theta }_k({\mathbf{v}}_k-{\mathbf{v}}_0)\\ & ={\mathbf{v}}_0+\mathbf{B}\mathbf{y}\end{array}$$其中，$Rank({\mathbf{B}}_{n\times k})=k，k<=n$，则有非奇异矩阵$\mathbf{A}=\left(\begin{array}{c}{\mathbf{A}}_1\\ {\mathbf{A}}_2\end{array}\right)\in {\mathbf{R}}^{n\times n}$，使得$\mathbf{A}\mathbf{B}=\left(\begin{array}{c}{\mathbf{A}}_1\\ {\mathbf{A}}_2\end{array}\right)\mathbf{B}=\left(\begin{array}{c}{\mathbf{I}}_k\\ 0\end{array}\right)$。故有$\mathbf{A}\mathbf{x}=\mathbf{A}{\mathbf{v}}_0+\mathbf{A}\mathbf{B}\mathbf{y}$，即$$\left(\begin{array}{c}{\mathbf{A}}_1\\ {\mathbf{A}}_2\end{array}\right)\mathbf{x}=\left(\begin{array}{c}{\mathbf{A}}_1\\ {\mathbf{A}}_2\end{array}\right){\mathbf{v}}_0+\left(\begin{array}{c}{\mathbf{A}}_1\\ {\mathbf{A}}_2\end{array}\right)\mathbf{B}\mathbf{y}$$展开得$$\begin{gathered} {\mathbf{A}}_1\mathbf{x}={\mathbf{A}}_1{\mathbf{v}}_0+\mathbf{y} \\ {\mathbf{A}}_2\mathbf{x}={\mathbf{A}}_2{\mathbf{v}}_0 \end{gathered}$$考虑$1^T\mathbf{y}<=1,\mathbf{y}>=0$，有$$\begin{gathered} {\mathbf{A}}_1\mathbf{x}>={\mathbf{A}}_1{\mathbf{v}}_0 \\ {1}^T{\mathbf{A}}_1\mathbf{x}<=1^T{\mathbf{A}}_1{\mathbf{v}}_0+1 \\ {\mathbf{A}}_2\mathbf{x}={\mathbf{A}}_2{\mathbf{v}}_0 \end{gathered}$$得证。考虑对称矩阵集合${\mathbf{S}}^n$，对称半正定矩阵集合${\mathbf{S}}_{+}^n$与对称正定矩阵集合${\mathbf{S}}_{+}^n+$。现在证明${\mathbf{S}}_{+}^n$是凸集、凸锥。$\forall {\theta }_1,{\theta }_2>=0,\forall \mathbf{A},\mathbf{B}\in {\mathbf{S}}_{+}^n$，则有$\forall \mathbf{X}\in {\mathbf{R}}^n,{\mathbf{X}}^T\mathbf{A}\mathbf{X}>=0,{\mathbf{X}}^T\mathbf{B}\mathbf{X}>=0$，则${\mathbf{X}}^T({\theta }_1\mathbf{A}+{\theta }_2\mathbf{B})\mathbf{X}={\theta }_1{\mathbf{X}}^T\mathbf{A}\mathbf{X}+{\theta }_2{\mathbf{X}}^T\mathbf{B}\mathbf{X}>=0$，即对称半正定矩阵是凸锥。但对称正定矩阵不是凸锥，但是一个凸集。

---

四、保凸运算
  若$S_1,S_2$是凸集，则$S_1\cap S_2$是凸集，该结论可以推广到n个凸集的情况。
  考虑函数$f(\mathbf{x})=\mathbf{A}\mathbf{x}+\mathbf{b},\mathbf{A}\in {\mathbf{R}}^{m\times n},\mathbf{b}\in {\mathbf{R}}^m$，则$f:{\mathbf{R}}^n\to {\mathbf{R}}^m$是仿射函数。若$S\in {\mathbf{R}}^n$是凸集，$f:{\mathbf{R}}^n\to {\mathbf{R}}^m$是仿射函数，则$f(S)=\{f(\mathbf{x})|\mathbf{x}\in S\}$是凸集，逆仿射函数$f^{-1}$仍然是凸集。
  若$S_1,S_2$是凸集，则$\{x+y|x\in S_1,y\in S_2\}$是凸集,$\{(x,y)|x\in S_1,y\in S_2\}$是凸集。
  考虑线性矩阵不等式【LMI】$A(\mathbf{X})={\mathbf{X}}_1{\mathbf{A}}_1+...+{\mathbf{X}}_n{\mathbf{A}}_n⪯\mathbf{B},\mathbf{B},{\mathbf{A}}_i,{\mathbf{X}}_i\in {\mathbf{S}}^m$，其中$A(\mathbf{X})⪯\mathbf{B}$表示$(A(\mathbf{X})-\mathbf{B})$是半负定矩阵，则$\{\mathbf{X}|A(\mathbf{X})⪯\mathbf{B}\}$是一个凸集。考虑仿射变换$f(\mathbf{X})=\mathbf{B}-A(\mathbf{X})$，而对称半正定矩阵是凸锥，则有$$f^{-1}({\mathbf{S}}_{+}^n)=\{\mathbf{X}|\mathbf{B}-A(\mathbf{X})⪰0\}$$也是凸集，即LMI的解集也是凸集。
  考虑函数$p(\mathbf{z},t)=\mathbf{z}/t,\mathbf{z}\in {\mathbf{R}}^n,t\in R_{++}$，则称该函数为透视函数。若$(\mathbf{z},t)$是凸集，则其透视函数$p(\mathbf{z},t)$是凸集。考虑高维的两点$\mathbf{x},\mathbf{y}\in {\mathbf{R}}^{n+1}$，则经过这两点的线段为$\theta \mathbf{x}+(1-\theta )\mathbf{y}$，其透视函数为$$\begin{array}{rl}p(\theta \mathbf{x}+(1-\theta )\mathbf{y})& =(\theta {\mathbf{x}}^{\prime }+(1-\theta ){\mathbf{y}}^{\prime })/(\theta x_{n+1}+(1-\theta )y_{n+1})\\ & =\theta x_{n+1}/(\theta x_{n+1}+(1-\theta )y_{n+1})({\mathbf{x}}^{\prime }/x_{n+1})+(1-\theta )y_{n+1}/(\theta x_{n+1}+(1-\theta )y_{n+1})({\mathbf{y}}^{\prime }/y_{n+1})\\ & =\mu p({\mathbf{x}}^{\prime },x_{n+1})+(1-\mu )({\mathbf{y}}^{\prime },y_{n+1})\end{array}$$其中$\mu =\theta x_{n+1}/(\theta x_{n+1}+(1-\theta )y_{n+1})$，该结果是一个凸组合。再考虑反透视映射$p^{-1}(\mathbf{c})=\{(\mathbf{x},t)\in {\mathbf{R}}^{n+1}|\mathbf{x}/t\in \mathbf{c},t>0\}$，其亦是凸集。
  考虑仿射函数$g(\mathbf{x})=(\mathbf{A},{\mathbf{c}}^T{)}^T\mathbf{x}+(\mathbf{b},d{)}^T,\mathbf{A}\in {\mathbf{R}}^{m\times n},\mathbf{C}\in {\mathbf{R}}^n,\mathbf{b}\in {\mathbf{R}}^m,d\in R$，与透视函数$p:{\mathbf{R}}^{m+1}\to {\mathbf{R}}^m$，则定义线性分式函数$f:pg$，即$f(\mathbf{x})=(\mathbf{A}\mathbf{x}+\mathbf{b})/({\mathbf{C}}^T\mathbf{x}+d),domf=\{\mathbf{x}|{\mathbf{C}}^T\mathbf{x}+d>0\}$，任意凸集的线性分式函数仍是凸集。考虑两个随机变量联合概率的条件概率，其中$u=\{1,...,n\},v=\{1,...,m\}$，则联合概率$p_{ij}=P(u=i,v=j)$，以及条件概$f_{i|j}=P(u=i|v=j)$，则$$f_{i|j}=p_{ij}/\sum p_{k|j}$$该式是一个线性分式映射。

---

五、凸函数
  定义函数$f:{\mathbf{R}}^n\to R$，若$domf$是凸集，且对于任意$\mathbf{x},\mathbf{y}\in domf$与$0\le \theta \le 1$，都有$$f(\theta \mathbf{x}+(1-\theta )\mathbf{y})\le \theta f(\mathbf{x})+(1-\theta )f(\mathbf{y})$$则称函数$f$是凸函数。若该式在$\mathbf{x}\ne \mathbf{y},0<\theta <1$时成立，则称$f$严格凸。若$f$是凸的，则$-f$是凹的。
  对于任意的凸函数$f$，考虑在$domf$上过点$\mathbf{x}$的直线$\mathbf{x}+t\mathbf{v}$，则$g(t)=f(\mathbf{x}+t\mathbf{v})$是凸的。这有助于将凸函数限制在直线上判断凸性。
  对于任意的凸函数$f$，可以拓展为$$\begin{array}{rl}g(\mathbf{x})& =f(\mathbf{x}),\mathbf{x}\in domf\\ & =\infty ,\mathbf{x}\notin domf\end{array}$$拓展后的$g$仍是一个凸函数。
  考虑凸函数的一阶条件。若函数$f:{\mathbf{R}}^n\to R$可微，即梯度$▽f$在$domf$上均存在，则$f$为凸函数等价于$domf$为凸且$$f(\mathbf{y})\ge f(\mathbf{x})+▽f^T(\mathbf{x})(\mathbf{y}-\mathbf{x}),\forall \mathbf{x},\mathbf{y}\in domf$$这是一条重要的性质，考虑存在$▽f^T(\mathbf{x})=0$的情况，则上述式为$f(\mathbf{y})\ge f(\mathbf{x}),\forall \mathbf{x},\mathbf{y}\in domf$，这是凸优化的重要思想。
  考虑凸函数的二阶条件。若函数$f:{\mathbf{R}}^n\to R$二阶可微，则$f$为凸函数等价于$domf$为凸且$$▽f^2(\mathbf{x})⪰0,\forall \mathbf{x}\in domf$$其中$▽f^2(\mathbf{x})$是海森【Hession】矩阵。
  考虑二次函数$f:{\mathbf{R}}^n\to R$，形如$f(\mathbf{x})={\mathbf{x}}^T\mathbf{P}\mathbf{x}/2+{\mathbf{q}}^T\mathbf{x}+r,\mathbf{P}\in {\mathbf{S}}^n,\mathbf{q}\in {\mathbf{R}}^n,r\in R$考察其凸性，只需考察其海森矩阵$▽f^2(\mathbf{x})=\mathbf{P}$。
  考虑仿射函数$f(\mathbf{x})=\mathbf{A}\mathbf{x}+\mathbf{b}$，其海森矩阵$▽f^2(\mathbf{x})=0$，即凸又凹。
  考虑指数函数$f(\mathbf{x})=e^{a\mathbf{x}}$，其海森矩阵$▽f^2(\mathbf{x})=a^2{e}^{a\mathbf{x}}⪰0$，为凸。
  考虑幂函数$f(\mathbf{x})={\mathbf{x}}^a,x\in R_{++}$，其海森矩阵$▽f^2(\mathbf{x})=a(a-1){\mathbf{x}}^{a-2}$，当$0\le a\le 1$，为凸。
  考虑负熵$f(x)=xlogx,x\in R_{++}$，其二阶导数为$1/x$，是严格凸的函数。
  考虑范数$p(\mathbf{x}),\mathbf{x}\in {\mathbf{R}}^n$满足$$\begin{gathered} p(a\mathbf{x})=|a|p(\mathbf{x}) \\ p(\mathbf{x}+\mathbf{y})\le p(\mathbf{x})+p(\mathbf{y}) \\ p(\mathbf{x})=0,\mathbf{x}=0 \end{gathered}$$考察范数的凸性。$\forall \mathbf{x},\mathbf{y}\in {\mathbf{R}}^n,\forall \theta \in [0,1]$，有$$\begin{array}{rl}p(\theta \mathbf{x}+(1-\theta )\mathbf{y})& \le p(\theta \mathbf{x})+p((1-\theta )\mathbf{y})\\ & =\theta p(\mathbf{x})+(1-\theta )p(\mathbf{y})\end{array}$$即范数为凸。而考虑0范数$$||\mathbf{x}|{|}_0=num\{\mathbf{x}|x_i\ne 0\}$$0范数不是范数，也非凸。
  考虑极大值函数$f(\mathbf{x})=max\{x_1,...,x_n\},\mathbf{x}\in {\mathbf{R}}^n$，$\forall \mathbf{x},\mathbf{y}\in {\mathbf{R}}^n,\forall \theta \in [0,1]$，有$$\begin{array}{rl}f(\theta \mathbf{x}+(1-\theta )\mathbf{y})& =max\{\theta x_i+(1-\theta )y_i,i=1,...,n\}\\ & \le \theta max\{x_i\}+(1-\theta )max\{y_i\},i=1,...,n\end{array}$$即极大值函数为凸。极大值函数不可导，为了解决该问题，使用解析逼近解决该问题，形如$$\begin{gathered} f(\mathbf{x})=log(e^{x_1}+...+e^{x_n}),\mathbf{x}\in {\mathbf{R}}^n \\ max\{x_i\}\le f(\mathbf{x})\le max\{x_i\}+logn \end{gathered}$$其海森矩阵为$$\begin{gathered} \partial f/\partial x_i=e^{x_i}/\sum e^{x_i} \\ {\mathbf{H}}_{ij}=\partial f^2/\partial x_i\partial x_j \\ \partial f^2/\partial x_i\partial x_j=-e^{x_i}{e}^{x_j}/(\sum e^{x_i}{)}^2,i\ne j \\ \partial f^2/\partial x_i\partial x_j=(-e^{x_i}{e}^{x_i}+e^{x_i}\sum e^{x_i})/(\sum e^{x_i}{)}^2,i=j \end{gathered}$$则有$$\mathbf{H}=1/(\sum e^{x_i}{)}^2[diag(e^{x_i}\sum e^{x_i})-(e^{x_1},...,e^{x_n}{)}^T(e^{x_1},...,e^{x_n})]$$考察$\mathbf{H}$的半正定性，即$\forall \mathbf{V}\in {\mathbf{R}}^n,{\mathbf{V}}^T\mathbf{H}\mathbf{V}\ge 0$，取$\mathbf{z}=(e^{x_1},...,e^{x_n})$不考虑正数系数，有$$\begin{array}{rl}{\mathbf{V}}^T\mathbf{H}\mathbf{V}& =k_{++}[(1^T\mathbf{z}){\mathbf{V}}^{T}diag(\mathbf{z})\mathbf{V}-{\mathbf{V}}^T\mathbf{z}{\mathbf{z}}^T\mathbf{V}]\\ & =k_{++}[\sum z_i\sum v_i^2{z}_i-(\sum v_i{z}_i{)}^2]\end{array}$$取$a_i=v_i(z_i{)}^{1/2},b_i=z_i^{1/2}$，有$$\begin{array}{rl}{\mathbf{V}}^T\mathbf{H}\mathbf{V}& =k_{++}[\sum z_i\sum v_i^2{z}_i-(\sum v_i{z}_i{)}^2]\\ & =k_{++}[{\mathbf{b}}^T\mathbf{b}{\mathbf{a}}^T\mathbf{a}-({\mathbf{a}}^T\mathbf{b}{)}^2]\end{array}$$由柯西施瓦茨【Cauchy-Schwarz】不等式，该式非负，即极大值解析函数为凸。

---

六、保凸函数
  若$f_1,...f_m$是凸函数，则其非负加权和，即$$f=\sum w_i{f}_i,w_i\ge 0$$为凸。推广到连续情况，若$f(x,y)$对于任何$y\in A$均为凸，设$w(y)\ge 0$，则$$g(x)={\int }_{y\in A}w(y)f(x,y)dy$$为凸。
  考虑$f:{\mathbf{R}}^n\to R,\mathbf{A}\in {\mathbf{R}}^{n\times m},\mathbf{b}\in {\mathbf{R}}^n$，定义函数$g(\mathbf{x})=f(\mathbf{A}\mathbf{x}+\mathbf{b})$，若$f$为凸，则$g$为凸。考虑$\forall \mathbf{x},\mathbf{y}\in domg,0\le \theta \le 1$，有$$\begin{array}{rl}g(\theta \mathbf{x}+(1-\theta )\mathbf{y})& =f(\theta \mathbf{A}\mathbf{x}+(1-\theta )\mathbf{A}\mathbf{y}+\mathbf{b})\\ & =f(\theta (\mathbf{A}\mathbf{x}+\mathbf{b})+(1-\theta )(\mathbf{A}\mathbf{y}+\mathbf{b}))\\ & \le \theta f(\mathbf{A}\mathbf{x}+\mathbf{b})+(1-\theta )f(\mathbf{A}\mathbf{y}+\mathbf{b})\\ & =\theta g(\mathbf{x})+(1-\theta )g(\mathbf{y})\end{array}$$该问题先仿射，再映射；再考虑映射后仿射，即$f_i:{\mathbf{R}}^n\to R,\mathbf{A}\in {\mathbf{R}}^n,b\in R$，定义函数$g(\mathbf{x})=\mathbf{A}(f_1(\mathbf{x}),...,f_n(\mathbf{x}){)}^T+b$，若$\mathbf{A}$均为正，则该式是一个非负加权和。
  考虑两个函数的极大值函数，$f_1$与$f_2$为凸，则$f(x)=max\{f_1(x),f_2(x)\}$为凸。考虑$\forall \mathbf{x},\mathbf{y}\in domf,0\le \theta \le 1$，有$$\begin{array}{rl}f(\theta \mathbf{x}+(1-\theta )\mathbf{y})& =max\{f_1(\theta \mathbf{x}+(1-\theta )\mathbf{y}),f_2(\theta \mathbf{x}+(1-\theta )\mathbf{y})\}\\ & \le max\{\theta f_1(\mathbf{x})+(1-\theta )f_1(\mathbf{y}),\theta f_2(\mathbf{x})+(1-\theta )f_2(\mathbf{y})\}\\ & \le max\{\theta f_1(\mathbf{x}),\theta f_2(\mathbf{x})\}+max\{(1-\theta )f_1(\mathbf{y}),(1-\theta )f_2(\mathbf{y})\}\\ & =\theta f(\mathbf{x})+(1-\theta )f(\mathbf{y})\end{array}$$  考虑函数的组合，定义$h:{\mathbf{R}}^k\to R,g:{\mathbf{R}}^n\to {\mathbf{R}}^k$，则其函数组合为$f=hg:{\mathbf{R}}^n\to R$，其定义域$domf=\{x\in domg|g(x)\in domh\}$。考察定义在$R$上一维二阶可微函数的凸性，即$f(x)=h(g(x))$的二阶导数$$df(x{)}^2/d^{2}x=d{h}^2(g(x))/d^{2}g(x)\cdot (dg(x)/dx{)}^2+dh(g(x))/dg(x)\cdot dg(x{)}^2/d^{2}x$$则有$h$为凸且单调不减，而$g$为凸函数时，$f$为凸；或$h$为凸且单调不增，而$g$为凹函数时，$f$为凸。再考虑复杂情况，即高维、非实数全空间定义或二阶不可微时，分别使用海森矩阵、扩展函数与原始定义来解决。
  定义函数$f:{\mathbf{R}}^n\to R,g:{\mathbf{R}}^n\times R_{++}\to R$，其中$$g(\mathbf{x},t)=tf(\mathbf{x}/t)$$其中$domg=\{(\mathbf{x},t)|t>0,\mathbf{x}/t\in domf\}$。那么若$f$为凸，则$g$为凸。
  考虑负对数$f(x)=-logx$，其是一个凸函数，而其透视$g(x,t)=tlog(t/x)$也是凸的。再考虑$\mathbf{u},\mathbf{v}\in {\mathbf{R}}_{++}^n$，那么$g(\mathbf{u},\mathbf{v})=\sum u_{i}lovg(u_i/v_i)$也是凸的，其是凸函数的和。再考虑$$D_{KL}(\mathbf{u},\mathbf{v})=\sum (u_{i}log(u_i/v_i)-u_i+v_i)$$称为KL散度，其是一个凸函数，并且是一种Bregman散度。考虑函数$f:R\to R$为凸，则其Bregman散度为$$D_B(u,v)=f(u)-f(v)-▽f(v)(u-v)$$当取$f(\mathbf{u})=\sum u_{i}log{u}_i-\sum u_i$时，其退化为KL散度，因为Bregman不保凸。

---

七、拟凸函数
  考虑函数$f:{\mathbf{R}}^n\to R$，其α下水平集【α-sublevel set】定义为$$C_{\alpha }=\{\mathbf{x}\in domf|f(\mathbf{x})\le \alpha \}$$凸函数的所有下水平集都是凸集，对于$\forall \mathbf{x},\mathbf{y}\in C_{\alpha },f(\mathbf{x})\le \alpha ,f(\mathbf{y})\le \alpha$，有$$\begin{array}{rl}f(\theta \mathbf{x}+(1-\theta )\mathbf{y})& \le \theta f(\mathbf{x})+(1-\theta )f(\mathbf{y})\\ & \le \alpha \end{array}$$即对任意的$\alpha$都满足。但该性质反之则不成立。
  考虑下水平集的意义，对于凸函数$f:{\mathbf{R}}^2\to R$， 将函数空间投影到几何平面时，当$\alpha$增大，其下水平集投影是单调不减的凸集，推广到高维亦然。
  而对于这样的函数，其不是凸函数，但其下水平集是凸集，称为拟凸函数。若一个函数是凸函数，则其一定是一个拟凸函数，但反之不成立，拟凸函数甚至可能是一个凹函数。拟凸函数也称单模态函数，一般来讲，凸优化算法亦适用于拟凸函数。拟凸函数可以用数字语言定义，形如$$max\{f(\mathbf{x}),f(\mathbf{y})\}\ge f(\theta \mathbf{x}+(1-\theta )\mathbf{y})$$则称$f$为拟凸函数。
  对于一个拟凸函数$f$，若其一阶可微，则有若$f(\mathbf{y})\le f(\mathbf{x})$，则$▽f^T(\mathbf{x})(\mathbf{y}-\mathbf{x})\le 0$。
  对于一个拟凸函数$f$，若其二阶可微，则有若${\mathbf{y}}^T▽f\ge 0$，则${\mathbf{y}}^T{▽}^{2}f\mathbf{y}\ge 0$。