凸优化问题，凸二次规划问题QP，凸函数

约束优化问题

min w  f(w) m i n   w     f ( w )

s.t.   gi(w)≤0    (i=1,...,k)         (1) s . t .       g i ( w ) ≤ 0         ( i = 1 , . . . , k )                   ( 1 )

        hj(w)=0    (j=1,...,l)         (2)                 h j ( w ) = 0         ( j = 1 , . . . , l )                   ( 2 )

注：

• 这是一个最小化问题.
• 不等式约束严格执行的含义是“小于等于号”变成“小于号”。

凸函数

对区间 [a,b] [ a , b ] 上定义的函数 f，若它对区间中任意两点 x1,x2 x 1 , x 2 均有：

f(x1+x22)≤f(x1)+f(x2)2 f ( x 1 + x 2 2 ) ≤ f ( x 1 ) + f ( x 2 ) 2

则称f为区间 [a,b] [ a , b ] 上的凸函数，这和高数上讲图形的形状时是不同的概念。

形曲线的函数如 f(x)=x2 f ( x ) = x 2 就是凸函数。

对实数集上的函数，可通过求解二阶导数来判别：

• 若二阶导数在区间上非负，则称为凸函数
• 若二阶导数在区间上恒大于0，则称严格凸函数

仿射函数也是凸函数，只是不是严格凸函数。

凸优化问题

凸优化问题是特殊的约束最优化问题。其一般形式形式和约束最优化问题一样。

假设f、g、h在定义域内是连续可微的，且目标函数f和不等式约束函数g是凸函数，等式约束h是仿射函数（线性函数），则这种约束最优化问题称为凸优化问题。
因此凸优化问题特征的重要特征：

• 目标函数f，不等式约束函数g是凸函数
• 等式约束h是仿射函数
• 满足约束最优化问题的一般形式

凸二次规划问题

凸二次规划问题是凸优化问题的一个特殊形式，当目标函数是二次型函数且约束函数 g 是仿射函数时，就变成一个凸二次规划问题。凸二次规划问题的一般形式为:

minxs.t.12xTQx+cTxWx⩽b min x 1 2 x T Q x + c T x s . t . W x ⩽ b

• 若 Q 为半正定矩阵，则上面的目标函数是凸函数，相应的二次规划为凸二次规划问题；此时若约束条件定义的可行域不为空，且目标函数在此可行域有下界，则该问题有全局最小值。

• 若Q为正定矩阵，则该问题有唯一的全局最小值。
  例如，最简单的正定矩阵就是单位矩阵。

凸二次规划问题的特征：

• 目标函数f是二次型函数函数
• 等式约束h是仿射函数
• 等式约g是仿射函数
• 满足约束最优化问题的一般形式

常用的二次规划问题求解方法有：

• 椭球法
• 内点法
• 增广拉格朗日法
• 梯度投影法