【机器学习】拉格朗日乘子法

其他机器学习系列文章见于专题：机器学习进阶之路——学习笔记整理，欢迎大家关注。

  在约束最优化问题中，常利用拉格朗日乘子法将原始问题转换为对偶问题求解。即通过引入拉格朗日乘子，将有$d$个变量和$k$个约束条件的最优化问题转化为具有$d+k$个变量的无约束优化问题求解。

  其通常的做法就是将约束函数与原目标函数联立，从而求出使原函数取得极值的各个变量的解，代入新函数，即可得到原目标函数的极值。

  这种方法的最典型应用是在支持向量机当中。

  考虑具有$m$个等式约束和$n$个不等式约束，且可行域$\mathbb{D}\subset {\mathbb{R}}^d$非空的优化问题（原始问题）：
$$\underset{\mathbf{x}}{\min }f(\mathbf{x})$$

$$\begin{array}{ll}\text{ s.t. }& h_i(\mathbf{x})=0(i=1,\dots ,m)\\ & g_j(\mathbf{x})⩽0(j=1,\dots ,n)\end{array}$$

引入拉格朗日乘子$\lambda$和$\mu$，得到相应的拉格朗日函数（对偶问题）：
$$L(\mathbf{x},\mathbf{\lambda },\mathbf{\mu })=f(\mathbf{x})+\sum _{i=1}^m{\lambda }_i{h}_i(\mathbf{x})+\sum _{j=1}^n{\mu }_j{g}_j(\mathbf{x})$$

  假设原始问题的最优值为$p^{\ast }$，对偶问题的最优值为$d^{\ast }$。在某些条件下，原始问题和对偶问题的最优值相等$d^{\ast }=p^{\ast }$，此时可以用求解对偶问题来代替求解原始问题。

仿射函数的定义：
设$f(x)$是一个矢性（值）函数，如果它满足$f(x)=a\cdot x+b$，$a\in {\mathbf{R}}^n$，$b\in \mathbf{R}$，$x\in {\mathbf{R}}^n$，则称$f(x)$是仿射函数。
当仿射函数的常数项为0时，称为线性函数。

  假设$f(\mathbf{x})$和$g_j(\mathbf{x})$均为凸函数，$h_i(\mathbf{x})$为仿射函数，并且假设不等式约束$g_j(\mathbf{x})$是严格可行的，即至少存在一点$x$，对所有$i$都有$g_j(\mathbf{x})<0$，那么就会存在$x^{\ast }$、${\lambda }^{\ast }$和${\mu }^{\ast }$，使$x^{\ast }$是原始问题的解，${\lambda }^{\ast }$和${\mu }^{\ast }$是对偶问题的解，并且
$$p^{\ast }=d^{\ast }=L\left(x^{\ast },{\lambda }^{\ast },{\mu }^{\ast }\right)$$
  也就是说，此时可以用求解对偶问题来代替求解原始问题。

  而$x^{\ast }$、${\lambda }^{\ast }$和${\mu }^{\ast }$分别是原始问题和对偶问题的解的充分必要条件是$x^{\ast }$、${\lambda }^{\ast }$、${\mu }^{\ast }$满足Karush-Kuhn-Tucker (KKT)条件$(j=1,2,\dots ,n)$：
$$\{\begin{array}{l}{g}_j(x)⩽0\\ {\mu }_j⩾0\\ {\mu }_j{g}_j(\mathbf{x})=0\\ h_j\left(x^{\ast }\right)=0\end{array}$$

参考文献：

1. 《机器学习》附录B.1——周志华
2. 《统计学习方法》附录C——李航