【机器学习】二次规划

其他机器学习系列文章见于专题：机器学习进阶之路——学习笔记整理，欢迎大家关注。

  在介绍二次规划问题前，我们先介绍正定矩阵和半正定矩阵的定义：

  正定矩阵：设$M$是$n$阶方阵，如果对任何非零向量$z$，都有$z^{T}Mz>0$，则称$M$为正定矩阵。

  半正定矩阵：设$M$是$n$阶方阵，如果对任何非零向量$z$，都有$z^{T}Mz\ge 0$，则称$M$为半正定矩阵。

  二次规划（Quadratic Programming，简称QP）是一类典型的优化问题。二次规划问题的一般形式为：
$$\begin{array}{cl}{\min }_x& \frac{1}{2}{x}^{T}Qx+c^{T}x\\ \text{s.t.}& Ax⩽b\end{array}$$

  （1）若$Q$为半正定矩阵，则上面的目标函数是凸函数，相应的二次规划为凸二次规划问题；此时若约束条件$Ax⩽b$定义的可行域不为空，且目标函数在此可行域有下界，则该问题有全局最小值。

  （2）若$Q$为正定矩阵，则该问题有唯一的全局最小值。

  （3）若$Q$为非正定矩阵，则该问题是有多个平稳点和局部极小点的NP难问题。

  常用的二次规划问题求解方法有：椭球法、内点法、增广拉格朗日法、梯度投影法等。

参考文献：

1. 《机器学习》附录B.1——周志华