Convex Optimization Note 4

### Convex Optimization Note 4

1. Log-concave and log-convex functions

1) log-convex function 也是 convex，log-concave至少是quasi-concave，concave function一定是log-concave（composition）

2) examples:
cumulative function of Gaussian density is log-concave Φ(x)=∫x−∞e−u2/2du Φ ( x ) = ∫ − ∞ x e − u 2 / 2 d u
Gamma function is log-convex for x>1: Γ(x)=∫∞0ux−1e−udu Γ ( x ) = ∫ 0 ∞ u x − 1 e − u d u
detX det X is log-concave
detX/tr X det X / t r   X is log-concave
大部分概率密度函数都是log-concave，如高斯分布、指数分布、Convex set上的均匀分布

3) log-convex ⟺f(x)∇2f(x)⪰∇f(x)∇f(x)T ⟺ f ( x ) ∇ 2 f ( x ) ⪰ ∇ f ( x ) ∇ f ( x ) T

4) multiplication and positive scaling保持log-concave log-convex
加法保持log-convex（由log-sum-exp的convexity可以推导），并且可以推广至积分:
f(x,y) f ( x , y ) 对于任意 y y 关于 x x 都是log-convex，则 g(x)=∫Cf(x,y)dy g ( x ) = ∫ C f ( x , y ) d y 是log-convex

5) 如果 f(x,y) f ( x , y ) 是关于 (x,y) ( x , y ) 的log-concave函数，那么 g(x)=∫f(x,y)dy g ( x ) = ∫ f ( x , y ) d y 是log-concave:
这个性质可以用于边缘分布、卷积等：
概率密度函数是log-concave则其概率累积函数是log-concave（例如高斯分布）

2. Convexity with respect to generalized inequalities

1) 如果是对于 Rn+ R + n 的单调性则是对于每一个变量单独的单调性。
对于 Sn+ S + n 的单调性: tr(WX) t r ( W X )

2) gradient condition for monotonicity: K K -non-decreasing ⟺ ∇f(x)⪰K∗0 ⟺   ∇ f ( x ) ⪰ K ∗ 0
K K -increasing ⟸ ∇f(x)≻K∗0 ⟸   ∇ f ( x ) ≻ K ∗ 0 反过来不正确

3) convexity对于 Rn+ R + n 实际上就是每一个分量都是convex
对于 Sn+ S + n 而言，convexity ⟺∀z  zTf(x)z ⟺ ∀ z     z T f ( x ) z 是convex function

4) f​ f ​ 是 K​ K ​ convex function ⟺∀ω⪰K∗0  ωTf​ ⟺ ∀ ω ⪰ K ∗ 0     ω T f ​ 是convex function（strict同理，去掉等号）

5) 一阶导数条件与convex相同，只是把不等号换成推广不等号

6) composition: 同convex

3. Generalized inequality constraints

1) 将convex optimization问题中的不等式替换为generalized inequality，函数替换为 K K -convex function

2) 具有性质：
feasible set, sublevel set, optimal or suboptimal set都是convex set
局部最优是全局最优
可微分 f0 f 0 的各种最优条件不变
（通常可以用凸优化方法直接求解这类问题）

3）Conic programming-> Second-order cone programming(SOCP)
Semidefinite programming