机器学习-白板推导系列(六)(2) - 约束优化问题

6. 约束优化问题

6.1 弱对偶性证明

6.1.1 概述

1. 约束优化问题
   约束优化问题的$原问题（PrimalProblem）$的一般形式如下：
   $$\{\begin{array}{c}\underset{x}{\min }f(x),x\in {\mathbb{R}}^p\\ s.t.m_i(x)\le 0,i=1,2,\cdots ,M\\ s.t.n_j(x)=0,j=1,2,\cdots ,N\end{array}\text{\hspace{1em}(6.1.1)}$$
   求解约束优化问题需要用到拉格朗日乘子法，定义拉格朗日函数：
   $$L(x,\lambda ,\eta )=f(x)+\sum _{i=1}^M{\lambda }_i{m}_i(x)+\sum _{j=1}^N{\eta }_j{n}_j(x)\text{\hspace{1em}(6.1.2)}$$
   其中$\lambda ,\eta$分别是$M维$、$N维$向量。
2. 无约束优化问题
   把原问题转化为无优化问题，这两个优化问题具有同样的解：
   $$\{\begin{array}{c}\underset{x}{\min }\underset{\lambda ,\eta }{\max }L(x,\lambda ,\eta )\\ s.t.{\lambda }_i\ge 0\end{array}\text{\hspace{1em}(6.1.3)}$$

   证明：以不等式约束为例

   • 如果$x$违反了约束$m_i(x)\le 0$，即$m_i(x)>0$,由于${\lambda }_i\ge 0$，$\underset{\lambda }{\max }L=\infty$。
   • 如果$x$符合约束$m_i(x)\le 0$,由于${\lambda }_i\ge 0$，$\underset{\lambda }{\max }L\ne \infty （此时{\lambda }_i=0)$.
     因此$\underset{x}{\min }\underset{\lambda }{\max }L=\underset{x}{\min }\left\{\underset{x符合约束}{\underset{\lambda }{\max }L},\underset{x不符合约束}{\infty }\right\}$

6.1.2 对偶问题

1. 对偶问题
   公式(6.1.3)原问题的对偶问题为
   $$\{\begin{array}{c}\underset{\lambda ,\eta }{\max }\underset{x}{\min }L(x,\lambda ,\eta )\\ s.t.{\lambda }_i\ge 0\end{array}\text{\hspace{1em}(6.1.4)}$$
   可以看到$原问题是关于x的函数，对偶问题是关于\lambda ,\eta 的函数$。
2. 弱对偶问题
   弱对偶问题有如下定理：
   $$\underset{\lambda ,\eta }{\max }\underset{x}{\min }L(x,\lambda ,\eta )\le \underset{x}{\min }\underset{\lambda ,\eta }{\max }L(x,\lambda ,\eta )\text{\hspace{1em}(6.1.5)}$$
   弱对偶性可以理解为：$对偶问题\le 原问题$。

   我们假设：令$对偶问题(dual)为d，原问题(primal)为p$；则我们要证明：$d\le p$，即：$$\underset{\lambda ,\eta }{\max }\underset{x}{\min }L(x,\lambda ,\eta )\le \underset{x}{\min }\underset{\lambda ,\eta }{\max }L(x,\lambda ,\eta )$$
   可以从机器学习-白板推导系列(六)(1)中：凤头和鸡头的角度理解，也可以从以下证明理解：
   证明：

   1. $L(x,\lambda ,\eta )\le \underset{\lambda ,\eta }{\max }L(x,\lambda ,\eta )$（原来的肯定小于最大的）；
   2. $\underset{x}{\min }L(x,\lambda ,\eta )\le L(x,\lambda ,\eta )$（最小的肯定小于原来的）；
   3. 因此 $\underset{x}{\min }L(x,\lambda ,\eta )\le L(x,\lambda ,\eta )\le \underset{\lambda ,\eta }{\max }L(x,\lambda ,\eta )$；
   4. 则可写出：
      $$\begin{gathered} \underset{A(\lambda ,\eta )}{\underset{x}{\min }L(x,\lambda ,\eta )}\le L(x,\lambda ,\eta )\le \underset{B(x)}{\underset{\lambda ,\eta }{\max }L(x,\lambda ,\eta )} \\ \Rightarrow A(\lambda ,\eta )\le B(x) \\ \Rightarrow A(\lambda ,\eta )\le minB(x) \\ \Rightarrow maxA(\lambda ,\eta )\le minB(x) \\ \Rightarrow \underset{\lambda ,\eta }{\max }\underset{x}{\min }L(x,\lambda ,\eta )\le L(x,\lambda ,\eta )\le \underset{x}{\min }\underset{\lambda ,\eta }{\max }L(x,\lambda ,\eta ) \end{gathered}$$

---

6.2 对偶关系的几何解释

6.2.1 概述

1. 问题概述
   假设约束优化问题是：
   $$\{\begin{array}{c}\underset{x}{\min }f(x),x\in {\mathbb{R}}^p\\ s.t.m(x)\le 0\end{array}\text{\hspace{1em}(6.2.1)}$$
   其$定义域D$为$$domf\cap domm\text{\hspace{1em}(6.2.2)}$$
   对于上述约束优化问题，可以写出它的拉格朗日函数：
   $$L(x,\lambda )=f(x)+\lambda m(x),\lambda \ge 0$$
   其对偶问题为：$$\underset{\lambda }{\max }\underset{x}{\min }L(x,\lambda )\text{\hspace{1em}(6.2.3)}$$
2. 问题简化
   • 令$p^{\ast }$ 为原问题：$p^{\ast }=minf(x)$
   • 令$d^{\ast }$ 为对偶问题：$d^{\ast }=\underset{\lambda }{\max }\underset{x}{\min }L(x,\lambda )$
   • 定义集合$G$：$$\begin{gathered} G=\left\{(m(x),f(x))|x\in D\right\} \\ =\left\{(u,t)|x\in D\right\}\text{\hspace{1em}(6.2.4)} \end{gathered}$$
     集合G在二维坐标系下表示的空间假设为下图：
     

6.2.2 对偶关系

1. 将$p^{\ast }$和 $d^{\ast }$ 用集合表示
   • 令$inf$表示求集合的下确界，则
     $$p^{\ast }=\min f(x)=\min t=\inf \{t|(u,t)\in G,u\le 0\}\text{\hspace{1em}(6.2.5)}$$
     $$d^{\ast }=\underset{\lambda }{\max }\underset{x}{\min }L(x,\lambda )=\underset{\lambda }{\max }\underset{x}{\min }(t+\lambda u)=\underset{\lambda }{\max }\inf \{t+\lambda u|(u,t)\in G\}$$
     令$g(\lambda )=\inf \{t+\lambda u|(u,t)\in G\}$，因此：
     $$d^{\ast }=\underset{\lambda }{\max }g(\lambda )\text{\hspace{1em}(6.2.6)}$$
2. 弱对偶关系证明
   将$p^{\ast }$和 $d^{\ast }$ 用几何表示
   • $p^{\ast }$在图中可以表示为：
     
   • $d^{\ast }$的表示
     $t+\lambda u=b$表示以$-\lambda (\lambda \ge 0)$为斜率， 以$b$为截距的直线，则：
     • 当$b=0$时，$t+\lambda u=b$为一条过原点的直线。
     • $g(\lambda )$即为与区域$G$相切最小截距的直线$t+\lambda u=b^{\ast }$的$b^{\ast }(g(\lambda )=b^{\ast })$。如下图：
       
   • 因此从图中可以看出$p^{\ast }>d^{\ast }$：
     
     则弱对偶关系$p^{\ast }>d^{\ast }$证毕：$$\underset{\lambda ,\eta }{\max }\underset{x}{\min }L(x,\lambda ,\eta )<\underset{x}{\min }\underset{\lambda ,\eta }{\max }L(x,\lambda ,\eta )\text{\hspace{1em}(6.2.7)}$$
3. 强对偶关系
   在某些特殊情况下可以使得强对偶关系成立，在图中表示如下：
   
   如果一个约束优化问题是凸优化问题且同时满足Slater条件，那么可以使得$d^{\ast }=p^{\ast }$：
   $$凸优化+Slater条件\Rightarrow (d^{\ast }=p^{\ast })$$

• 但是$d^{\ast }=p^{\ast }$并不能推出该约束优化问题是凸优化问题且同时满足Slater条件，这是因为Slater条件是$d^{\ast }=p^{\ast }$的充分不必要条件，还有其他的条件可以使得约束优化问题满足$d^{\ast }=p^{\ast }$。
• SVM是一个二次规划问题，其天生满足强对偶关系。

---

6.3 对偶关系之Slater Condition的解释

1. Slater条件
   $$\{\begin{array}{l}\exists \hat{x}\in relintD\\ s.t.m_i(x)<0;\forall i=1,\cdots ,M\end{array}\text{\hspace{1em}(6.3.1)}$$

   relint是指域内，不包括边界。

2. Slater条件说明
   有以下两点说明：
   • 对于大多数凸优化问题，Slater条件是成立的；
   • 放松的Slater条件：对于约束条件，如果有$k$ 个$m_i(x)$是仿射函数，那么只需要验证其他$M-k$个条件即可。因为在定义域内寻找一个满足所有$m_i(x)<0$的点是比较困难的，因此$放松的Slater条件$会减少一些复杂度。

SVM中的问题，是凸二次优化，其约束条件是仿射函数，所以天然符合放松的slater条件。

---

6.4 对偶关系之KKT条件

6.4.1 概述

1. 原问题
   原问题为：
   $$\{\begin{array}{c}\underset{x}{\min }f(x),x\in {\mathbb{R}}^p\\ s.t.m_i(x)\le 0,i=1,2,\cdots ,M\\ s.t.n_j(x)=0,j=1,2,\cdots ,N\end{array}\text{\hspace{1em}(6.4.1)}$$
   其中约束条件$m_j$和$n_j$可微。
   令原问题为$p^{\ast }$ ,其最优解为$x^{\ast }$。
2. 对偶问题
   对原问题使用拉格朗日乘子法：
   $$L(x,\lambda ,\eta )=f(x)+\sum _{i=1}^M{\lambda }_i{m}_i+\sum _{j=1}^N{\eta }_i{n}_j\text{\hspace{1em}(6.4.2)}$$
   令：$g(\lambda ,\eta )=\underset{x}{\min }L(x,\lambda ,\eta )$
   其对偶问题为：
   $$\{\begin{array}{l}\underset{\lambda ,\eta }{\max }g(\lambda ,\eta )\\ s.t.{\lambda }_i\ge 0\end{array}\text{\hspace{1em}(6.4.3)}$$
   令对偶问题最优解$d^{\ast }$对应${\lambda }^{\ast }$和 ${\eta }^{\ast }$。

• 当目标优化问题为凸优化（convex）并满足slater条件，则可以推出其满足强对偶关系；
• 强对偶与KKT条件互为充要条件，并通过KKT条件可以求解强对偶问题。
  则：
  $$convet+slater\Rightarrow strongduality\iff KKT$$

6.4.2 KKT条件

KKT条件分为三类：可行条件、互补松弛条件、梯度为0。即：
$$\{\begin{array}{l}可行条件：\{\begin{array}{l}{m}_i(x)\le 0\\ n_i(x)=0\\ {\lambda }^{\ast }\ge 0\end{array}\\ 互补松弛：{\lambda }_i{m}_i=0\\ 梯度为0：\frac{\partial L}{\partial x}{|}_{x=x^{\ast }}=0\end{array}\text{\hspace{1em}(6.4.4)}$$

1. 可行性
   需要满足可行性约束条件，并且需满足隐含条件${\lambda }^{\ast }\ge 0$，原因在6.1.1中介绍过。
2. 互补松弛条件和梯度为0
   $$\begin{gathered} d^{\ast }=\underset{\lambda ,\eta }{\max }g(\lambda ,\eta )=g({\lambda }^{\ast },{\eta }^{\ast }) \\ =\underset{x}{\min }L(x,{\lambda }^{\ast },{\eta }^{\ast })\le L(x^{\ast },{\lambda }^{\ast },{\eta }^{\ast }) \\ =f(x^{\ast })+\sum _{i=1}^M{\lambda }_i^{\ast }{m}_i(x^{\ast })+\underset{=0}{\sum _{j=1}^N{\eta }_j^{\ast }{n}_j(x^{\ast })} \\ =f(x^{\ast })+\underset{\le 0}{\sum _{i=1}^M{\lambda }_i^{\ast }{m}_i(x^{\ast })}\le f(x^{\ast })=p^{\ast } \end{gathered}$$
   因为$d^{\ast }=p^{\ast }$，所以上式中两个$\le$都必须取等号：
   • 首先$\underset{x}{\min }L(x,{\lambda }^{\ast },{\eta }^{\ast })=L(x^{\ast },{\lambda }^{\ast },{\eta }^{\ast })$,则可以得出：${\begin{array}{c}\frac{\partial L(x,{\lambda }^{\ast },{\eta }^{\ast })}{\partial x}\end{array}|}_{x=x^{\ast }}=0$。
   • 然后$f(x^{\ast })+{\sum }_{i=1}^M{\lambda }_i^{\ast }{m}_i(x^{\ast })=f(x^{\ast })$，则可以得出：${\sum }_{i=1}^M{\lambda }_i^{\ast }{m}_i(x^{\ast })=0$，由于${\lambda }_i^{\ast }{m}_i(x^{\ast })\le 0$，要使得${\sum }_{i=1}^M{\lambda }_i^{\ast }{m}_i(x^{\ast })=0$，则必有${\lambda }_i^{\ast }{m}_i(x^{\ast })=0$。

以上说明了KKT条件为什么与强对偶关系互为充要条件。即：$$convet+slater\Rightarrow strongduality\iff KKT\text{\hspace{1em}(6.4.5)}$$

---

6.5 总结

1. 硬SVM
   对于严格可分的数据集，可以使用硬间隔SVM选择一个超平面，保证所有数据到这个超平面的距离最大。由于此问题为凸优化并且所有的约束条件都是仿射函数，故满足slater条件，可以转化为对偶问题进行求解：
   $$\{\begin{array}{l}\underset{\lambda }{\max }-\frac{1}{2}{\sum }_{i=1}^N{\sum }_{j=1}^N{\lambda }_i{\lambda }_j{y}_i{y}_j{x}_i^T{x}_j+{\sum }_{i=1}^N{\lambda }_i\\ s.t.{\lambda }_i\ge 0\\ {\sum }_{i=1}^N{\lambda }_i{y}_i=0\end{array}\text{\hspace{1em}(6.5.1)}$$
   求解时需要使用KKT条件（其与强对偶关系互为充要条件）：
   $$\{\begin{array}{l}\frac{\partial L}{\partial w}=0,\frac{\partial L}{\partial b}=0,\frac{\partial L}{\partial \lambda }=0\\ {\lambda }_i(1-y_i(w^T{x}_i+b))=0\\ {\lambda }_i\ge 0\\ 1-y_i(w^T{x}_i+b)\le 0\end{array}\text{\hspace{1em}(6.5.2)}$$
   求解可得：
   • $w^{\ast }={\sum }_{i=1}^N{\lambda }_i{y}_i{x}_i$
   • $b^{\ast }=y_k-{\sum }_{i=1}^N{\lambda }_i{y}_i{x}_i^T{x}_k$
2. 软SVM
   当数据集中有噪声时，可以采用软间隔SVM，允许有一点小错误，在硬间隔SVM中加入一个错误项，即：
   $$\{\begin{array}{l}\underset{w,b}{\min }\frac{1}{2}{w}^{T}w+C{\sum }_{i=1}^N{\xi }_i\\ s.t.y_i(w^T{x}_i+b)\ge 1-{\xi }_i\\ {\xi }_i\ge 0\end{array}\text{\hspace{1em}(6.5.3)}$$
   可同样使用对偶问题进行求解。