【机器学习】二次规划

其他机器学习系列文章见于专题:机器学习进阶之路——学习笔记整理,欢迎大家关注。

  在介绍二次规划问题前,我们先介绍正定矩阵和半正定矩阵的定义:

  正定矩阵:设 M M M n n n阶方阵,如果对任何非零向量 z z z,都有 z T M z > 0 z^T Mz>0 zTMz>0,则称 M M M为正定矩阵。

  半正定矩阵:设 M M M n n n阶方阵,如果对任何非零向量 z z z,都有 z T M z ≥ 0 z^T Mz≥0 zTMz0,则称 M M M为半正定矩阵。

  二次规划(Quadratic Programming,简称QP)是一类典型的优化问题。二次规划问题的一般形式为:
min ⁡ x 1 2 x T Q x + c T x s.t. A x ⩽ b \begin{array} { c l } { \min _ { x } } & { \frac { 1 } { 2 } x ^ { T } Q x + c ^ { T } x } \\ { \text {s.t.} } & { A x \leqslant b } \end{array} minxs.t.21xTQx+cTxAxb

  (1)若 Q Q Q半正定矩阵,则上面的目标函数是凸函数,相应的二次规划为凸二次规划问题;此时若约束条件 A x ⩽ b { A x \leqslant b } Axb定义的可行域不为空,且目标函数在此可行域有下界,则该问题有全局最小值

  (2)若 Q Q Q正定矩阵,则该问题有唯一的全局最小值

  (3)若 Q Q Q非正定矩阵,则该问题是有多个平稳点和局部极小点的NP难问题。

  常用的二次规划问题求解方法有:椭球法、内点法、增广拉格朗日法、梯度投影法等。

参考文献:

  1. 《机器学习》附录B.1——周志华

你可能感兴趣的:(机器学习)