凸函数

1.定义

• 对于函数 f(x) ，如果其定义域 domf 是凸的，且对于 ∀x,y∈domf ， 0≤θ≤1 ， 有
  

  f(θx+(1−θ)y)≤θf(x)+(1−θ)f(y)
  
  则， f(x) 是凸函数。

• 例：
  仿射函数： ax+b
  指数函数： eax
  幂函数： xα (其中， x∈R++ , α>1 或 α<0 )
  绝对值幂函数： |x|p , p≥1
  其他： xlogx , x∈R++

• 凹函数实例:
  仿射函数： ax+b
  幂函数： xα (其中， x∈R++ , 0≤α≤1 )

2.凸函数判定条件

• 2.1 一阶充要条件
  
  f(y)≥f(x)+∇f(x)T(y−x)
• 2.2 二阶充要条件
  
  ∇2f(x)⪰0
• 2.3 Jensen不等式
  若 f(x) 是凸函数，则对 0≤θ≤1 , 有
  
  f(θx+(1−θ)y)≤θf(x)+(1−θ)f(y)
  
  进一步可得：
  
  f(Ex)≤Ef(x)

3.凸运算

• 非负线性组合(nonnegative weighted sum)
  若 f(x) 凸，则数乘 αf , (α≥0) 和加法 f1+f2 对凸集封闭

• 仿射组合函数(composition with affine function)
  若 f(x) 凸，则 f(Ax+b) 凸

• 最大值和极值(pointwise maximum and supremum)
  若 f1,f2,...,fn 凸，则
  

  f(x)=max{f1(x),f2(x),...,fn(x)}
  
  也为凸函数

• 复合函数(composition)
  若 g:Rn→R ， h:R→R ，则对于复合函数
  

  f(x)=h(g(x))
  
  若 g 凸， h 凸且非减，有 f 凸；
  若 g 凹， h 凸且非增，有 f 凸；
  例：
  当 g(x) 为凸函数时， exp{g(x)} 为凸函数
  当 g(x) 为凹函数且为正时， 1g(x) 为凸函数

4.共轭函数

• 定义：
  函数 f(x) 的共轭函数为：
  
  f∗(y)=supx∈domf(yTx−f(x))
  
  共轭函数有一个非常特别的性质，在对偶问题中有着非常重要的应用。这个性质就是：
  无论 f(x) 是否为凸函数，其共轭函数都为凸函数

5.拟凸函数

• 对于函数 f(x) ，若其定义域以及水平子集
  Sα={x|f(x)≤α}
  对于任意的 α 都为凸集，则 f(x) 为拟凸函数。
• 实例：
  |x|−−√ ， logx

6.log-concave函数

• 定义
  对于正函数 f(x) ， 如果 logf(x) 是凹函数，则 f(x) 是log-concave函数，即对 0≤θ≤1 ，有
  f(θx+(1−θ)y)≥f(x)θf(y)1−θ
• 实例：
  正态分布函数是log-concave