【机器学习笔记16】拉格朗日乘子法

【参考资料】
【1】《统计学习方法》
【2】《凸优化》
【3】小象学院 《凸优化》

凸集

---

直线和线段的表达

设$x_1̸=x_2$是$R^n$空间上的两个点，具有存在下列定义的点：
$y=\theta x_1+(1-\theta )x_2$组成一条过两点的直线，当$\theta$取值在0、1之间表示一个线段。

另外一种表述方式:$y=x_2+(x_2-x_1)\theta$即$x_2$作为一个基点，直线表示为基点加上两点距离乘以一个参数形成偏移的点的集合。

仿射集合

仿射定义: 对于$x_1,x_2\in C\theta \in R$存在$\theta x_1+\theta (1-x_2)\in C$
理解：这个集合对于线性变换具备封闭性

凸集

凸集定义：对于$x_1,x_2\in C\theta \in [0,1]$存在$\theta x_1+\theta (1-x_2)\in C$
从简单几何图形上理解，即如下例

支撑超平面

超平面分离定理

超平面$\{x|a^{T}x=b\}$分离了两个不相交的凸集C和D，其中也称$a^{T}x\ge b{a}^{T}x\le b$为超平面划分出来的两个半空间。

备注：当待分割的两个集合不是凸集，则未必存在一个超平面能够分割两个集合，那么这个时候如果取一个超平面能够是分割后损失最小（即尽可能的分割清楚），就是类似SVM这样的算法要完成的事情。

通过做垂直于两个凸集最短距离的超平面来作一个分割超平面，如下：

支撑超平面

定义：$a̸=0$ 对于任何$x\in C$满足$a^{T}x\le a^T{x}_0$，则称超平面$\{x|a^{T}x=a^T{x}_0\}$是集合C在$x_0$处的支撑超平面。

凸函数

---

凸函数定义

定义函数f:$R^n\to R$是凸的，如果domf（定义域）是凸集，且对于任意$xy\in domf0\le \theta \le 1$有：

$f(\theta x+(1-\theta y))\le \theta f(x)+(1-\theta )f(x)$

保凸运算

1. 非负加权求和

严格的凸（凹）函数的非负加权求和也是凸（凹）函数
$ f = w_1f_1 + w_2f_2 + … + w_nf_n$

2. 复合仿射映射

$g(x)=f(Ax+b)$

若函数f是凸（凹）函数，则g也是凸（凹）函数

3. 逐点最大或逐点上确界

若$f_1{f}_2$是凸函数，则$f=max(f_1,f_2)$仍然是凸函数

同时N条直线（凸函数）逐点求下确界是凹函数（必然有一个最大值，用在拉格朗日对偶中），如下图：

拉格朗日对偶

---

凸优化问题定义:

假设$f(x)c_i(x)h_j(x)$是定义在$R^n$空间上的连续可微函数，考虑约束最优化问题:

求解：$mi{n}_{x\in R^n}f(x)$
存在约束条件: $c_i(x)\le 0,i=1,2...k$ $h_j(x)=0,j=1,2...l$

引入拉格朗日函数:

$L(x,\alpha ,\beta )=f(x)+{\sum }_{i=1}^k{\lambda }_i{c}_i(x)+{\sum }_{j=1}^l{\beta }_j{h}_j(x)$ 其中$ \alpha_i \quad \beta_j$是拉格朗日乘子。

当我们固定x时，只考虑$\lambda$，则拉格朗日函数可以看作是$\lambda$作为直线的函数集，那么这些函数集的下确界构成一个凹函数，必然有极大值。

上图的备注：

1. 上图针对最优化问题所构造的拉格朗日函数$L(x,lambda)=f(x)+\lambda h(x)$
2. 左图x轴红线部分代表x的取值范围，即最优化问题的约束
3. 黑色实现代表原始函数f(x)
4. 不同颜色的虚线，代表不同$\lambda$下的$g(\lambda )=f(x)+\lambda h(x)$
5. 左图对$ming(\lambda )$左图
6. 可以得到结论，当我们对左图$ming(\lambda )$求最大值，也就得到了原始问题f(x)的最小值（重要）

拉格朗日对偶性:

这部分用于理解为什么拉格朗日对偶函数的最大值，能够对应到原始函数的最小值。

重新来看拉格朗日函数的定义

$L(x,\alpha ,\beta )=f(x)+{\sum }_{i=1}^k{\lambda }_i{c}_i(x)+{\sum }_{j=1}^l{\beta }_j{h}_j(x)$

由于$c_i(x)$是恒小于0的，因此整个${\sum }_{i=1}^k{\lambda }_i{c}_i(x)+{\sum }_{j=1}^l{\beta }_j{h}_j(x)$的最大值是0。也就是说当${\sum }_{i=1}^k{\lambda }_i{c}_i(x)+{\sum }_{j=1}^l{\beta }_j{h}_j(x)$关于$\lambda$的函数取最大值时，拉格朗日对偶函数等于原函数。

此时原始函数的求极小值问题等价于：$mi{n}_{x}ma{x}_{\lambda }L(x,\lambda ,\beta )$

最终我们将这个问题转换称对偶问题 $ma{x}_{\lambda }mi{n}_{x}L(x,\lambda ,\beta )$`

我们有：

`$ma{x}_{\lambda }mi{n}_{x}L(x,\lambda ,\beta )\le mi{n}_{x}ma{x}_{\lambda }L(x,\lambda ,\beta )$

备注：

对偶函数的最大值不一定等于原始函数的最小值，从上图的例子就可以看出，对偶函数的最大值略小于原始函数的最小值。若要两者相等，则需要满足KKT（）条件。