最优化方法(学习笔记)-第三章凸函数

基本性质

凸函数

定义：
$f:R^n\to R$是凸性的，需要符合以下条件

• $domf$是凸性的
• $\forall x,y\in domf,\forall \theta \in [0,1],f(\theta x+(1-\theta )y)\le \theta f(x)+(1-\theta )f(y)$
• 不等式没有等号的时候，就是严格凸函数
  
  性质：
  $f$是凸函数，那么$-f$是凹函数

例子：$x\in R$

• 凸函数
  • 仿射函数：$ax+b,x\in R,\forall a,b\in R$
  • 指数函数：$e^{ax},\forall a\in R$
  • 幂函数：$x^a,x\in R_{++},\forall a\in [-\infty ,0]\cup [1,+\infty ]$
  • P函数：$|x{|}^p,x\in R_{++},\forall p\in [1,+\infty ]$（幂函数带绝对值-偶函数）
  • 负熵函数：$x\log x,x\in R_{++}$
• 凹函数
  • 仿射函数：$ax+b,x\in R,\forall a,b\in R$
  • 幂函数：$x^a,x\in R,\forall a\in [1,+\infty ]$
  • log函数：$\log x,x\in R_{++}$

例子：$x\in R^n$

• 仿射函数（可凸可凹）：$f(x)=a^{T}x+b$
• 范数：$||x|{|}_p=({\sum }_{i=1}^n|x_i{|}^p{)}^{\frac{1}{p}},p\in [1,+\infty ],||x|{|}_{\infty }=ma{x}_k|x_k|$

例子：$x\in R^{m\times n}$

• 仿射函数（可凸可凹）：$f(X)=tr(a^{T}X)+b=\sum _{i=1}^m\sum _{j=1}^n{A}_{ij}{X}_{ij}+b$
• 最大奇异值范数spectral norm：$f(X)=||X|{|}_2={\sigma }_{max}(X)=({\lambda }_{max}(X^{T}X){)}^{\frac{1}{2}}$

凸函数限制到直线（降维）

$f:R^n\to R$有凸性$⟺凸函数g:R\to R（g(t)=f(x+tv)）,domg=\{t|x+tv\in domf\}，t\in R,x\in domf,x是原点,v\in R^n,v是方向$
也就是：高维凸函数$⟺$高维函数的每个维度上都是凸函数

凸函数f的延拓extended-value extension

$\{\begin{array}{l}\tilde{f}=f(x),\forall x\in domf\\ \tilde{f}=\infty ,x\notin domf\end{array}$

• 凸性定义法
  保持凸性——凸性的不等关系性质成立
  $f(\theta x+(1-\theta )y)\le \theta f(x)+(1-\theta )f(y)$
  其中：$\{x|f(x)<\infty \}⟺x\in domf$
• 函数性质判定凸性法
  • 一阶条件(first-order condition)：$f(x)一阶可微(differentiable),定义域\forall x,y\in domf（open），存在梯度(列向量)是▽f(x)=(\frac{\partial f(x)}{\partial x_1},\frac{\partial f(x)}{\partial x_2},...,\frac{\partial f(x)}{\partial x_n}{)}^T【+】f(y)\ge f(x)+▽f(x{)}^T(y-x)⟺f有凸性$
    证明：
    $\ast 1.n=1,即f(y)\ge f(x)+f^{\prime }(x)(y-x)$
    $⟵$(Assume：f is convex)
    给定条件：$f(x+t(y-x))\le (1-t)f(x)+tf(y)$
    目标：$f(y)\ge f(x)+f^{\prime }(x)(y-x)$
    过程：$f(y)\ge \frac{f(x+t(y-x))-(1-t)f(x)}{t}=\frac{f(x+t(y-x))-f(x)}{t}+f(x)=f(x)+\frac{f(x+t(y-x))-f(x)}{t(y-x)}(y-x)\stackrel{t\to 0}{}f(x)+f^{\prime }(x)(y-x)$
    $⟶$(Assume：不等式成立)
    给定条件：$f(y)\ge f(x)+f^{\prime }(x)(y-x)$
    目标：$f(\theta x+(1-\theta )y)\le \theta f(x)+(1-\theta )f(y)$
    过程：利用中间点$z=\theta x+(1-\theta )y$，存在$f(y)\ge f(z)+f^{\prime }(z)(y-z),f(x)\ge f(z)+f^{\prime }(z)(x-z)$
    $f(y)同乘(1-\theta )，(1-\theta )f(y)\ge (1-\theta )[f(z)+f^{\prime }(z)(y-z)]$
    $f(x)同乘\theta ，\theta f(x)\ge \theta [f(z)+f^{\prime }(z)(x-z)]$
    $两式相加，(1-\theta )f(y)+\theta f(x)\ge f(z)$
    $\ast 2.n>1,x\in R^n$
    设$g(t)=f(ty+(1-t)x)，所以g^{\prime }(t)=▽f(ty+(1-t)x{)}^T(y-x)$
    $⟵$(Assume：f is convex,then g is convex)
    给定条件：$g(t)凸性定义：g(t)\ge g(\tau )+g^{\prime }(\tau )(t-\tau )[一维的时候]$
    目标：$f(y)\ge f(x)+▽f(x{)}^T(y-x)$
    过程：​​​$若t=1,\tau =0,有g(1)\ge g(0)+g^{\prime }(0)(1-0)$
    $将值带回f函数有f(y)\ge f(x)+▽f(x{)}^T(y-x)$，不等式成立
    $⟶$(Assume：不等式成立)
    给定条件：$f(y)\ge f(x)+▽f(x{)}^T(y-x)$
    目标：$\forall t,\tau \in R,g(t)\ge g(\tau )+g^{\prime }(\tau )(t-\tau )[g函数有凸性]⟺f(ty+(1-t)x)\ge f(\tau y+(1-\tau )x)+▽f(\tau y+(1-\tau )x{)}^T(y-x)(t-\tau )$
    过程：令$Y=ty+(1-t)x,X=\tau y+(1-\tau )x,B=Y-X$
    所以$f(ty+(1-t)x)\ge f(\tau y+(1-\tau )x)+▽f(\tau y+(1-\tau )x{)}^T\ast B$
    $B=Y-X=ty+(1-t)x-[\tau y+(1-\tau )x]=ty+x-tx-\tau y-x+\tau x=t(y-x)-\tau (y-x)=(y-x)(t-\tau )$，凸性成立
  • 二阶条件(second-order condition)：$f(x)二阶可微(twicedifferentiable)，定义域\forall x\in domf（open），存在二阶导数(矩阵){▽}^{2}f(x{)}_{ij}=\frac{{\partial }^{2}f(x)}{\partial x_i\partial x_j},i,j=1,...,n【+】定义域domf是凸的，二阶导数是正定{▽}^{2}f(x)\ge 0⟺f有凸性(\ge 0)$
    例子：
    • 二次函数quadratic function：$f(x)=\frac{1}{2}{x}^{T}Px+q^{T}x+r,P\in S^n$，二阶导系数矩阵${▽}^{2}f(x)=P$是对称矩阵（特征值是实数）,再要求$P\ge 0$（特征值大于等于0）
    • 最小二乘目标least-squares objective：$f(x)=||Ax-b|{|}_2^2,▽f(x)=2A^T(Ax-b),{▽}^{2}f(x)=2A^{T}A$（特征值一定大于等于0）
    • 二次线性quadratic-over-linear：$f(x,y)=\frac{x^2}{y},y>0,{▽}^{2}f(x,y)=\left[\begin{array}{cc}\frac{{\partial }^{2}f(x,y)}{\partial x^2}& \frac{{\partial }^{2}f(x,y)}{\partial x\partial y}\\ \frac{{\partial }^{2}f(x,y)}{\partial y\partial x}& \frac{{\partial }^{2}f(x,y)}{\partial y^2}\end{array}\right]=\left[\begin{array}{cc}\frac{2}{y}& -\frac{2x}{y^2}\\ -\frac{2x}{y^2}& \frac{2x^2}{y^3}\end{array}\right]=\frac{2}{y^3}\left[\begin{array}{cc}{y}^2& -xy\\ -xy& x^2\end{array}\right]=\frac{2}{y^3}\left[\begin{array}{c}y\\ -x\end{array}\right]{\left[\begin{array}{c}y\\ -x\end{array}\right]}^T\ge 0$
    • 对数的偏分函数（softmax）：$f(x)=-\log \sum _{k=1}^n\exp x_k,设z_k=e^{x_k}=\exp x_k,{▽}^{2}f(x)=\frac{1}{1^{T}z}diag(z)-\frac{1}{(1^{T}z{)}^2}z{z}^T$

Sublevel set

定义：$\alpha -sublevelsetoff:R^n\to R,C_{\alpha }=\{x\in domf|f(x)\le \alpha \}$(要求区间是连续的)
凸函数的Sublevel set是凸性的（其逆函数不一定）

Epigraph

定义：$epioff:R^n\to R,epif=\{(x,t)\in R^{n+1}|x\in domf,f(x)\le t\}$(要求区间是连续的)
$f是凸函数⟺epif是凸集$

例子（epigraph与一阶导数的关系）：
一维情况：已知$x^2$函数的切线(类似支撑面)，切点，$epif$集合
切线的法向量：$(▽f(x),-1)$
$\tan \theta =\frac{df}{dx}{|}_{x=x}=\frac{▽f(x)}{1}$

若有点$(y,t),存在t\ge f(y)\ge f(x)+▽{f(x)}^T(y-x)$
前一个不等式是因为epigraph,后一个不等式是因为一阶导数的性质
所以推导：$-(t-f(x))+▽{f(x)}^T(y-x)\le 0⟹{\left[\begin{array}{c}▽f(x)\\ -1\end{array}\right]}^T\left[\begin{array}{c}y-x\\ t-f(x)\end{array}\right]\le 0$（就是两个蓝色的向量内积是小于0的）

Jensen不等式

定义-基本：
$\forall \theta \in [0,1]，凸函数f，f(\theta x+(1-\theta )y)\le \theta f(x)+(1-\theta )f(y)$
定义-扩展：
$f(\sum _{i=1}^n{\theta }_i{x}_i)\le \sum _{i=1}^n{\theta }_{i}f(x_i),\sum _{i=1}^n{\theta }_i=1,{\theta }_i\in [0,1]$
$考虑随机取值的情况：f(\frac{1}{n}\sum _{i=1}^n{x}_i)\le \frac{1}{n}\sum _{i=1}^{n}f(x_i)，于是f(EX)\le Ef(x)$

小结（判定凸函数的5种方法）

• 定义法：
  $f:R^n\to R$是凸函数$⟺domf$定义域是凸的，$\forall x,y\in domf,\forall \theta \in [0,1],f(\theta x+(1-\theta )y)\le \theta f(x)+(1-\theta )f(y)$
• 高维限制法：
  $f:R^n\to R$是凸函数$⟺凸函数g:R\to R（g(t)=f(x+tv)）,domg=\{t|x+tv\in domf\}是凸集，t\in R,x\in domf,x是原点,v\in R^n,v是方向$
• 一阶条件法：
  $f(x)一阶可微(differentiable),定义域\forall x,y\in domf（open）,定义域domf是凸的，存在梯度(列向量)是▽f(x)=(\frac{\partial f(x)}{\partial x_1},\frac{\partial f(x)}{\partial x_2},...,\frac{\partial f(x)}{\partial x_n}{)}^T，f是凸函数⟺f(y)\ge f(x)+▽f(x{)}^T(y-x)$
• 二阶条件法：
  $f(x)二阶可微(twicedifferentiable)，定义域\forall x\in domf（open）,定义域domf是凸的，存在二阶导数(矩阵){▽}^{2}f(x{)}_{ij}=\frac{{\partial }^{2}f(x)}{\partial x_i\partial x_j},i,j=1,...,n,f是凸函数(\ge 0)⟺二阶导数是正定{▽}^{2}f(x)\ge 0$
• epi图法：
  $f:R^n\to R$是凸函数$⟺epioff:R^n\to R,epif=\{(x,t)\in R^{n+1}|x\in domf,f(x)\le t\}$(要求区间是连续的)是凸的

保凸运算

非负权和nonegative weight sum

定义：
逐点求和：
${\alpha }_i\ge 0,f_i是凸函数\to f(x)=\sum _{i=1}^k{\alpha }_i{f}_i是凸函数$(线性变换保凸)
求和转变为积分形式
无穷点求和：
$f(x)是凸函数,\forall y,w(y)\ge 0\to g(x)={\int }_{\Omega }f(x,y)w(y)dy是凸函数$

类似两个凸函数交集的部分子集：

仿射函数复合composition with affine function

定义：
$f(x)是凸函数\to f(Ax+b)是凸函数$

例子：

• log barrier
  $f(x)=-\sum _{i=1}^m\log (b_i-a_i^{T}x),domf=\{x|b_i-a_i^{T}x>0,\forall i\}$
• norm of affine function
  $f(x)=||Ax+b||$

逐点最大Pointwise maximum

定义：
$f_1(x),f_2(x)是凸函数\to f(x)=max\{f_1(x),f_2(x)\}是凸函数$
例子：
$x\in R^m,X_{[}1]>X_{[}2]>...>X_{[}n]，f(x)=\max \{x_{i_1}+x_{i_2}+...+x_{i_r}|1\le i_1<i_2<...<i_r\le n\}是凸函数$

逐点上界Pointwise supremum

定义：
$\forall y\in A，f(x,y)对x是凸函数\to g(x)=\underset{y\in A}{\sup }f(x,y)是凸函数（g是f关于y求极值的函数）$
例子：

• 集合C的support function：$x是凸函数\to S_C(x)=\underset{y\in C}{\sup }{y}^{T}x是凸函数$
• 集合C的最远距离：$求范数是凸函数\to f(x)=\underset{y\in C}{\sup }||x-y||$
• 对称矩阵($X\in S^n$)的最大特征值(eigenvalue)：$对称矩阵X线性仍是凸函数\to {\lambda }_{max}(X)=\underset{||y|{|}_2=1}{\sup }{y}^{T}Xy$

标量函数的耦合Composition with scalar functions

定义：
$g:R^n\to R，h:R\to R，f(x)=h(g(x))，f^{\prime }(x)=h^{\prime }(g(x))g^{\prime }(x)，f^{\prime \prime }(x)=h^{\prime \prime }(g(x))(g^{\prime }(x){)}^2+h^{\prime }(g(x))g^{\prime \prime }(x)$
$[1].g是凸函数(g^{\prime \prime }\ge 0)，h的延拓\tilde{h}是非递减的(h^{\prime }\ge 0)，h是凸函数(f^{\prime \prime }\ge 0)$
$[2].g是凹函数(g^{\prime \prime }\le 0)，h的延拓\tilde{h}是非递增的(h^{\prime }\le 0)，h是凸函数(f^{\prime \prime }\ge 0)$
$\to f(x)是凸函数(f^{\prime \prime }(x)\ge 0)$

证明：
$x,y\in domg,f(x)=h(g(x)),证明条件[1]成立$
$1.g是凸函数，所以g(\theta x+(1-\theta )y)\le \theta g(x)+(1-\theta )g(y)$
$2.h是凸函数，所以h(g(\theta x+(1-\theta )y))\le h(\theta g(x)+(1-\theta )g(y))\le \theta h(g(x))+(1-\theta )h(g(y))$
$3.根据延拓\tilde{h}的定义，若g(x)\notin domh,那么h(g(x))=\infty ，上述不等式也成立，于是f(\theta x+(1-\theta )y)\le \theta f(x)+(1-\theta )f(y)，f是凸函数$

例子：

• $g(x)是凸函数\to \exp g(x)是凸函数$
• $g(x)是凹函数，g(x)>0\to \frac{1}{g(x)}是凸函数$

向量的耦合Vector composition

定义：
$g:R^n\to R^k，h:R^k\to R，f(x)=h(g(x))=h(g_1(x),g_2(x),...,g_k(x))$
$回顾多元函数二阶导数因子：{▽}^{2}f(x{)}_{ij}=\frac{{\partial }^{2}f(x)}{\partial x_i\partial x_j}$
$f^{\prime \prime }(x)=g^{\prime }(x{)}^T{▽}^{2}h(g(x))g^{\prime }(x)+▽h(g(x){)}^T{g}^{\prime \prime }(x)$
$[1].g_i是凸函数，h的延拓\tilde{h}是非递减的，h是凸函数$
$[2].g_i是凹函数，h的延拓\tilde{h}是非递增的，h是凸函数$
$\to f(x)是凸函数(f^{\prime \prime }(x)\ge 0)$

例子：

• $g_i(x)是凹函数，g_i(x)>0\to \sum _{i=1}^m\log g_i(x)是凹函数，加上负号凹凸性改变$
• $g_i(x)是凸函数\to \log \sum _{i=1}^m\exp g_i(x)是凸函数（二阶导非负）$

最小值Minimization

定义：
$f(x,y)对(x,y)都满足凸函数，C是凸集\to g(x)=\underset{y\in C}{\inf }f(x,y)是凸函数$

例子：
$高维倾斜二次型函数：f(x)=x^{T}Ax+2x^{T}By+y^{T}Cy$
$f(x)的二阶导\left[\begin{array}{cc}A& B\\ B^T& C\end{array}\right]\ge 0，C>0\to f(x)是凸函数$
$f(x,y)对于y进行最小化，g(x)=\underset{y\in C}{\inf }f(x,y)=x^T(A-B{C}^{-1}{B}^T)x根据保凸运算可知g是凸函数，所以其系数矩阵(舒尔补)是半正定的(A-B{C}^{-1}{B}^T\ge 0)$

舒尔补Schur complement-n×n方阵分块

分块形式：$M={\left[\begin{array}{cc}A& B\\ C& D\end{array}\right]}_{n\times n}$
$其中A，D是方阵$
$A是非奇异的，则A在M中的舒尔补：D-C{A}^{-1}B$(顺时针排列)
$D是非奇异的，则D在M中的舒尔补：A-B{D}^{-1}C$(顺时针排列)
本质：
$A是非奇异的，则对A做初等对角化：\left[\begin{array}{cc}I& 0\\ -C{A}^{-1}& I\end{array}\right]\left[\begin{array}{cc}A& B\\ C& D\end{array}\right]\left[\begin{array}{cc}I& -A^{-1}B\\ 0& I\end{array}\right]=\left[\begin{array}{cc}A& 0\\ 0& D-C{A}^{-1}B\end{array}\right]$
得到行列式:$\left|\begin{array}{cc}A& B\\ C& D\end{array}\right|=\left|\begin{array}{cc}A& 0\\ 0& D-C{A}^{-1}B\end{array}\right|=|A||D-C{A}^{-1}B|$
所以：

• $（A非奇异）M非奇异⟺D-C{A}^{-1}B非奇异$
• $（D非奇异）M非奇异⟺A-B{D}^{-1}C非奇异$

透射函数Perspective

定义：
$f:R^n\to R,f是凸函数,g:R^n\times R\to R，domg=\{(x,t)|\frac{x}{t}\in domf,t>0\}\to g(x,t)=tf(\frac{x}{t})是凸函数$

例子：

• $f(x)=x^{T}x是凸函数,t>0\to g(x,t)=\frac{x^{T}x}{t}是凸函数$
• $f(x)=-\log x是凸函数\to g(x,t)=-t\log \frac{x}{t}是凸函数,在R_{++}^2集合上$
• $f(x)是凸函数,定义域\{x|c^{T}x+d>0,\frac{(Ax+b)}{C^{T}x+d}\in domf\}\to g(x)=(c^{T}x+d)f(\frac{Ax+b}{c^{T}x+d})是凸函数(仿射+透射perspective)$

小结

请跳转到最后的总结。

共轭函数Conjugate function

原函数是以x为自变量，求y值
共轭函数是以斜率为自变量，求y轴上截距值
找斜率的最小值$⟺$找y轴上截距的最大值

定义：
多元偏分函数形式：
$切线：g(x)=(x-x_0)\frac{\partial f}{\partial x}(x_0)+f(x_0))$
$截距：g(0)=-x_0\frac{\partial f}{\partial x}(x_0)+f(x_0)$

共轭形式：
共轭函数（截距的相反数）：$x=x_0\in domf,自变量y=\frac{\partial f}{\partial x}，f^{\ast }(y)=y^{T}x-f(x)$
$f(x)是凸函数，所以y和-f(x)是凹函数，有唯一最大值$

$求最值的目标函数：f^{\ast }(y)=\underset{x\in domf}{\sup }(y^{T}x-f(x))$

$\{\begin{array}{l}y=\frac{\partial f}{\partial x}\\ x=\frac{\partial f^{\ast }}{\partial y}\end{array}，属于对称形式，所以两次共轭会回到原来的函数$

$截距是给点，找斜线求截距最大值$
$共轭是给斜线，找点求截距最大值，且即使f不是凸函数，f^{\ast }也是凸函数$

例子：

• $f(x)=-\log x,x>0\to f^{\ast }(y)=\underset{x>0}{\sup }(xy+\log x)$
  $可知y=\frac{\partial f(x)}{\partial x},最值即导数y+\frac{1}{x}=0,所以x=-\frac{1}{y}$
  $f^{\ast }(y)=\{\begin{array}{ll}-1+\log (-\frac{1}{y})& y<0\\ \infty & y\ge 0\end{array}$
• $f(x)=\frac{1}{2}{x}^{T}Qx,Q\in S_{++}^n\to f^{\ast }(y)=\underset{x}{\sup }(y^{T}x-\frac{1}{2}{x}^{T}Qx)⟺计算二次函数的极值$
  $根据x=Q^{-1}y推导出：f^{\ast }(y)=y^T{Q}^{-1}y-\frac{1}{2}{y}^T{Q}^{-1}y=\frac{1}{2}{y}^T{Q}^{-1}y，这形式与f(x)对称$

$类比能量公式：E=\frac{1}{2}m{v}^2=\frac{1}{2}vmv\to E^{\ast }(p)=\frac{1}{2}p\frac{1}{m}p=\frac{p^2}{2m}，p=mv是动量用来表示v的物理过程$

次凸函数Quasiconvex|次凹函数Quasiconcave

这类函数不全符合凸函数的定义，但是他们仍然有唯一最值

定义:
$f:R^n\to R，domf是凸集，\forall \alpha ,(sublevelset)S_{\alpha }=\{x|f(x)\le \alpha \}是凸集\to f是次凸函数$

$f:R^n\to R，domf是凸集，\forall \alpha ,(highlevelset)H_{\alpha }=\{x|f(x)>\alpha \}是凸集\to f是次凹函数$

判定：

• $-f是次凸函数\to f是次凹函数$
• $f是次凹函数也是次凸函数\to f是次线性函数$

例子：

• $x\in R,f=\sqrt{|x|}是次凸函数$
  

• $f=ceil(x)=inf\{z\in Z|z\ge x\}是次线性函数$
  

• $x\in R_{++},f=\log x是次线性函数$
  

• $x\in R_{++}^2,f(x_1,x_2)=x_1{x}_2是次凹函数$
  

• $domf=\{x|c^{T}x+d>0\},f(x)=\frac{a^{T}x+b}{x^{T}x+d}是次线性函数$(linear-fractional-function)

• $domf=\{x|||x-a|{|}_2\le ||x-b|{|}_2\},f(x)=\frac{||x-a|{|}_2}{||x-b|{|}_2}是次凸函数$

性质：

• modified Jensen inequality：$f是次凸函数\theta \in [0,1]\to f(\theta x+(1-\theta )y)\le \max (f(x),f(y))$
  【下图是不符合条件的多峰情况】
  

• first-order condition：$f定义域是凸集，f可微是次凸函数⟺f(y)\le f(x)⟹▽f(x{)}^T(y-x)\le 0$
  

• 次凸函数的累加，不一定仍是次凸函数

取log意义下的凹函数log-concave和凸函数log-convex

定义：
$\log f是凸函数\to f是log-convex函数：\theta \in [0,1],f(\theta x+(1-\theta )y)\le f(x{)}^{\theta }f(y{)}^{1-\theta }$
$\log f是凹函数\to f是log-concave函数：\theta \in [0,1],f(\theta x+(1-\theta )y)\ge f(x{)}^{\theta }f(y{)}^{1-\theta }$

公式理解：
$\log f(\theta x+(1-\theta )y)\le \theta \log f(x)+(1-\theta )\log f(y)$
$=\log f(x{)}^{\theta }+\log f(y{)}^{1-\theta }$
$=\log f(x{)}^{\theta }f(y{)}^{1-\theta }$

例子：
$(次凹函数)高斯函数f(x)=e^{-x^2}\to (凹函数)\log f(x)=-x^2$
$(log-concave函数)高斯分布：\Phi (x)={\int }_{-\infty }^x\frac{1}{\sqrt{2\pi }}{e}^{-\frac{u^2}{2}}dx$
$f(x)=x^{\alpha },x\in R_{++}，(1)\alpha \le 0,f(x)是log-convex；(2)\alpha \ge 0,f(x)是log-concave$

性质&特殊log操作：
$f二阶可导，domf是凸集$

• $f是log-concave(convex)⟺{▽}^{2}f(x)\le (\ge )\frac{▽f(x)▽f(x{)}^T}{f(x)}$
• Product of log-concave functions is also log-concave：$f(x),g(x)都是log-concave，那么\log f(x)和\log g(x)就是concave，所以\log f(x)+\log g(x)=\log (f(x)g(x))是concave，f(x)g(x)是log-concave$
• Sum of log-concave functions is not always log-concave：$\log (f(x)+g(x))$
• Integration积分意义下保凸：$f:R^n\times R^m\to R是log-concave\to g(x)=\int f(x,y)dy是log-concave$
• Convolution卷积意义下：$f(x),g(x)都是log-concave\to (f\ast g)(x)=\int f(x-y)g(y)dy是log-concave$

广义不等关系的凸性

定义：
recall：$x-y\in K⟺y{\le }_{K}x$
$f:R^n\to R^m是K-convex(K锥型)，domf是凸集，\theta \in [0,1],f(\theta x+(1-\theta )y){\le }_K\theta f(x)+(1-\theta )f(y)$

举例：
$f:S^m\to S^m,f(x)=X^2是S_{+}^m-convex(对称半正定凸函数)$

$证明部分1.对称半正定阵：找一个向量v,使得v^{T}Av\ge 0：\forall z,z^T{X}^{2}z=z^T{X}^{T}Xz=(Xz{)}^{T}Xz=||Xz|{|}_2^2（2类范数）是凸集（成立）$

$证明部分2.convex：z^T(\theta X+(1-\theta )Y{)}^{2}z\le \theta z^T{X}^{2}z+(1-\theta )z^T{Y}^{2}z⟹z^T(\theta X^2+(1-\theta )Y^2-(\theta X+(1-\theta )Y{)}^2)z\ge 0，所以需要条件(\theta X+(1-\theta )Y{)}^2\le \theta X^2+(1-\theta )Y^2（一般意义下的凸关系成立）$

总结

• 判定一个凸函数的3种方法：

  • 定义法
    • 凸函数符合Jensen不等式，$\forall x,y\in domf,\forall \theta \in [0,1],f(\theta x+(1-\theta )y)\le \theta f(x)+(1-\theta )f(y)$
    • 凸函数等价定义：（高维限制）$\exists g(t)=f(x+tv),f是凸函数，domg=\{t|x+tv\in domf\}$
      凸函数可以延拓到$R^n$上，保持凸性，并且区分不同定义域的取值方式。
    • 一次微分函数，$f(y)\ge f(x)+▽f(x{)}^T(y-x)$
      就是函数图像在某个点切线之上，高维情况要运用凸函数等价定义（高维限制）。
    • epi图判定，epi函数是凸的
      sublevel set 和 epigraph都是判定凸函数的充分条件
  • 二次微分函数，${▽}^{2}f(x)\ge 0$
    高维情况，就是函数二阶导的矩阵是半正定的
  • 保凸运算（该部分的小结）
    • 非负权和nonegative weight sum
      $1.{\alpha }_i\ge 0,f_i是凸函数\to f(x)=\sum _{i=1}^k{\alpha }_i{f}_i是凸函数$(线性变换保凸)
      $2.f(x)是凸函数,\forall y,w(y)\ge 0\to g(x)={\int }_{\Omega }f(x,y)w(y)dy是凸函数$
    • 仿射函数复合composition with affine function
      $f(x)是凸函数\to f(Ax+b)是凸函数$
    • 逐点最大pointwise maximum and 逐点上界pointwise supremum
      $有限个f_1(x),...,f_m(x)是凸函数\to f(x)=max\{f_1(x),...,f_m(x)\}是凸函数$
      $对无穷个点，\forall y\in A，f(x,y)对x是凸函数\to g(x)=\underset{y\in A}{\sup }f(x,y)是凸函数（g是f关于y求极值的函数）$
    • composition耦合（复合）
      标量函数的耦合：$g:R^n\to R，h:R\to R，f(x)=h(g(x))是凸函数(f^{\prime \prime }(x)\ge 0)$
      $[1].g是凸函数(g^{\prime \prime }\ge 0)，h的延拓\tilde{h}是非递减的(h^{\prime }\ge 0)，h是凸函数(f^{\prime \prime }\ge 0)$
      $[2].g是凹函数(g^{\prime \prime }\le 0)，h的延拓\tilde{h}是非递增的(h^{\prime }\le 0)，h是凸函数(f^{\prime \prime }\ge 0)$
      向量的耦合：$g:R^n\to R^k，h:R^k\to R，f(x)=h(g(x))=h(g_1(x),g_2(x),...,g_k(x))是凸函数$
      $[1].g_i是凸函数，h的延拓\tilde{h}是非递减的，h是凸函数$
      $[2].g_i是凹函数，h的延拓\tilde{h}是非递增的，h是凸函数$
    • 最小值minimization
      f ( x , y ) 对 ( x , y ) 都 满 足