Convex Optimization Note 4

### Convex Optimization Note 4

1. Log-concave and log-convex functions

1) log-convex function 也是 convex,log-concave至少是quasi-concave,concave function一定是log-concave(composition)

2) examples:
cumulative function of Gaussian density is log-concave Φ(x)=xeu2/2du Φ ( x ) = ∫ − ∞ x e − u 2 / 2 d u
Gamma function is log-convex for x>1: Γ(x)=0ux1eudu Γ ( x ) = ∫ 0 ∞ u x − 1 e − u d u
detX det X is log-concave
detX/tr X det X / t r   X is log-concave
大部分概率密度函数都是log-concave,如高斯分布、指数分布、Convex set上的均匀分布

3) log-convex f(x)2f(x)f(x)f(x)T ⟺ f ( x ) ∇ 2 f ( x ) ⪰ ∇ f ( x ) ∇ f ( x ) T

4) multiplication and positive scaling保持log-concave log-convex
加法保持log-convex(由log-sum-exp的convexity可以推导),并且可以推广至积分:
f(x,y) f ( x , y ) 对于任意 y y 关于 x x 都是log-convex,则 g(x)=Cf(x,y)dy g ( x ) = ∫ C f ( x , y ) d y 是log-convex

5) 如果 f(x,y) f ( x , y ) 是关于 (x,y) ( x , y ) 的log-concave函数,那么 g(x)=f(x,y)dy g ( x ) = ∫ f ( x , y ) d y 是log-concave:
这个性质可以用于边缘分布、卷积等:
概率密度函数是log-concave则其概率累积函数是log-concave(例如高斯分布)

2. Convexity with respect to generalized inequalities

1) 如果是对于 Rn+ R + n 的单调性则是对于每一个变量单独的单调性。
对于 Sn+ S + n 的单调性: tr(WX) t r ( W X )

2) gradient condition for monotonicity: K K -non-decreasing  f(x)K0 ⟺   ∇ f ( x ) ⪰ K ∗ 0
K K -increasing  f(x)K0 ⟸   ∇ f ( x ) ≻ K ∗ 0 反过来不正确

3) convexity对于 Rn+ R + n 实际上就是每一个分量都是convex
对于 Sn+ S + n 而言,convexity z  zTf(x)z ⟺ ∀ z     z T f ( x ) z 是convex function

4) f f ​ K K ​ convex function ωK0  ωTf ⟺ ∀ ω ⪰ K ∗ 0     ω T f ​ 是convex function(strict同理,去掉等号)

5) 一阶导数条件与convex相同,只是把不等号换成推广不等号

6) composition: 同convex

3. Generalized inequality constraints

1) 将convex optimization问题中的不等式替换为generalized inequality,函数替换为 K K -convex function

2) 具有性质:
feasible set, sublevel set, optimal or suboptimal set都是convex set
局部最优是全局最优
可微分 f0 f 0 的各种最优条件不变
(通常可以用凸优化方法直接求解这类问题)

3)Conic programming-> Second-order cone programming(SOCP)
Semidefinite programming

你可能感兴趣的:(凸优化)