Convex Optimization Note 2

Convex Optimization Note 2

1. Quasi-convex function

1) definition: sublevel sets all are convex sets

2) examples:
f(x1,x2)=x1x2 f ( x 1 , x 2 ) = x 1 x 2 x∈Rn+ x ∈ R + n
linear-fractional function f(x)=aTx+bcTx+d f ( x ) = a T x + b c T x + d
distance-ratio function f(x)=∥x−a∥2∥x−b∥2 f ( x ) = ‖ x − a ‖ 2 ‖ x − b ‖ 2 with ∥x−a∥≤∥x−b∥ ‖ x − a ‖ ≤ ‖ x − b ‖ sublevel sets are Euclidean ball
3) f(θx+(1−θy))≤max(f(x),f(y)) f ( θ x + ( 1 − θ y ) ) ≤ max ( f ( x ) , f ( y ) ) 同样可以restrict到line上

4) 对于 R→R R → R 的函数而言，quasi-convex只能是以下三种情况：
non-increasing/non-decreasing/某点之前non-increasing，之后non-decreasing

5) first-order conditions: (f(y)≤f(x)⟹∇f(x)T(y−x)≤0)⟺f is quasiconvex ( f ( y ) ≤ f ( x ) ⟹ ∇ f ( x ) T ( y − x ) ≤ 0 ) ⟺ f   i s   q u a s i c o n v e x
a support plane at (x,f(x)) of sublevel set ( ≤f(x) ≤ f ( x ) )
∇f(x)=0 ∇ f ( x ) = 0 不一定是全局最优点

6) second-order conditions: yT∇f(x)=0⟹yT∇2f(x)y≥0 y T ∇ f ( x ) = 0 ⟹ y T ∇ 2 f ( x ) y ≥ 0
对于 ∇f(x)=0 ∇ f ( x ) = 0 的情况， ∇2f(x) ∇ 2 f ( x ) 半正定
对于 ∇f(x)≠0 ∇ f ( x ) ≠ 0 的情况， ∇2f(x) ∇ 2 f ( x ) 要对 null(∇f(x)) n u l l ( ∇ f ( x ) ) 半正定，意味着 ∇2f(x) ∇ 2 f ( x ) 最多有一个负的特征值
converse需要在>情况下才成立。

7) 保持quasi-convex的operation
non-negative weighted sum->point wise supremum
affine or linear-fractional composition
minimization(与convex函数相同)
8) 其sublevel set f(x)≤t⟺ϕt(x)≤0 f ( x ) ≤ t ⟺ ϕ t ( x ) ≤ 0
可以用一个convex function family来表达。这样的凸函数 ϕt ϕ t 总是存在的。

2. Convex optimization problem

2.1 Basics

1) 对于凸优化(or quasi-convex)问题而言，optimal set与sub-optimal set都是convex set
如果 f0 f 0 是strict convex function，则最优解是唯一的（定义可以验证这两个结论）。

2) convex optimization而言，局部最优就是全局最优（定义反证）。

3) first-order最优等价条件: ∇f0(x)(y−x)≥0 for all y∈X ∇ f 0 ( x ) ( y − x ) ≥ 0   f o r   a l l   y ∈ X
在unconstrained情形下( X X 是开集)，上述条件变为 ∇f0(x)=0 ∇ f 0 ( x ) = 0 。此方程解的情况，决定了
a. unbounded below b. optimal value is finite but not attained c. one or multiple solution

4) first-order with only equality constraint:需要存在某个 v v 使得 ∇f0(x)+ATv=0 ∇ f 0 ( x ) + A T v = 0 。
可以由3）的条件，加上x、y都在Ax=b的解空间中推导出来。

5) non-negative orthant
minimize f0(x) s.t. x⪰0 m i n i m i z e   f 0 ( x )   s . t .   x ⪰ 0 其first order条件等价于:
x⪰0, ∇f0(x)⪰0, xi(∇f(x))i=0 x ⪰ 0 ,   ∇ f 0 ( x ) ⪰ 0 ,   x i ( ∇ f ( x ) ) i = 0
第三个式子，表明 xi x i 与 (∇f(x))i ( ∇ f ( x ) ) i 两者必须有一个为0

6) epigraph problem form依然保持convex，因此可以称线性目标是所有凸优化的通用目标函数。
引入slack需要inequality是affine函数才能保持convex

7) quasi-convex optimization problem: f0(x) f 0 ( x ) 是一个quasi-convex function
a. ∇fT0(y−x)>0 ∇ f 0 T ( y − x ) > 0 是optimality的sufficient condition（not necessary)
b. 由于可以找到sublevel set的convex表达，因此可以把quasi-convex问题转换为找相应的convex问题的feasible set(类似于二分查找)

2.2 Equivalent problems

1) change of variables: one-to-one mapping

2) transformation of objective and constraint functions:
objective: monotone increasing
constraint: same condition ≤ ≤ 0 or = 0

3) slack variables: eliminate ≤0 ≤ 0

4) eliminating equality constraints such as linear Ax=b (特解+通解)

5) Introducing equality constraints

6) optimizing over some variables

7) epigraph problem form:
minimize f0(x)⟹minimize t  s.t f0(x)−t≤0 m i n i m i z e   f 0 ( x ) ⟹ m i n i m i z e   t     s . t   f 0 ( x ) − t ≤ 0

2.3 Typical problems

1) Linear programming–>linear-fractional programming(可以转换为LP问题)

2) Quadratic programming–>Quadratic constrained quadratic programming(QCQP)–> Second-order cone programming(SOCP)

3) Geometric programming
monomials/posynomials form–>convex form (取y=log(x))