【白板推导系列笔记】支持向量机-约束优化问题-弱对偶性证明

简单来说，引入拉格朗日乘子是为了强制要求所有的约束条件必须被满足，当$x$违反约束条件时，$L(x,\alpha ,\beta )\to +\infty$， 当$x$满足约束条件时，$L(x,\alpha ,\beta )=f(x)$。

假设$f(x)，c_i(x)，h_j(x)$是定义在$R^n$上的连续可微函数。考虑约束最优化问题（极大化问题可以简单地转换为极小化问题，这里仅讨论极小化问题）：
$$\begin{array}{rl}\underset{x\in R^n}{\min }& f(x)\\ s.t.& m_i(x)\le 0,i=1,2,\cdots ,k\\ & n_j(x)=0,j=1,2,\cdots ,l\end{array}$$
引入拉格朗日乘子后，得到拉格朗日函数
$$L(x,\alpha ,\beta )=f(x)+\sum _{i=1}^k{\alpha }_i{c}_i(x)+\sum _{j=1}^l{\beta }_j{h}_j(x)$$
如果$x$违反$m_i(x)$约束，即$m_i(x)>0$，那么$\underset{\lambda }{\max }L\to +\infty$
如果$x$符合$m_i(x)$约束，即$m_i(x)\le 0$，那么$\underset{\lambda }{\max }L\ne +\infty$
因此有
$$\underset{x}{\min }\underset{\lambda }{\max }L=\underset{x}{\min }\left\{\underset{符合约束}{\max L},\underset{违反约束}{+\infty }\right\}=\underset{x}{\min }\underset{\lambda }{\max }L$$
如果$x$违反$n_j(x)$约束，即$n_j(x)\ne 0$，那么$\underset{\beta }{\max }L\to +\infty$
如果$x$符合$n_j(x)$约束，即$n_j(x)=0$，那么$\underset{\beta }{\max }L\ne +\infty$
因此有
$$\underset{x}{\min }\underset{\lambda }{\max }L=\underset{x}{\min }\left\{\max L,+\infty \right\}=\underset{x}{\min }\underset{\lambda }{\max }L$$

所谓弱对偶性，指的是对偶问题$\le$原问题，即：
$$\min \max f\ge \max \min f$$
对于$L(x,\lambda ,\eta )$这个函数，我们知道下面这个不等式一定成立
$$\underset{x}{\min }L(x,\lambda ,\eta )\le L(x,\lambda ,\eta )\le \underset{\lambda ,\eta }{\max }L(x,\lambda ,\eta )$$
中间$L(x,\lambda ,\eta )$我们可以理解为$L$的值域，值域里面的任何一个数，必然是大于等于它对$x$的最小值，小于等于它对$\lambda ,\eta$的最大值。
令
$$A(\lambda ,\eta )=\underset{x}{\min }L,B(x)=\underset{\lambda ,\eta }{\max }L$$
因此有
$$\begin{array}{rl}A(\lambda ,\eta )& \le B(x)\\ A(\lambda ,\eta )& \le \min B(x)\\ \max A(\lambda ,\eta )& \le \min B(x)\end{array}$$
因此
$$\max \min L\le \min \max L$$

后面还有对偶关系之几何解释、对偶关系之slater condition、对偶关系之KKT条件，以后会补上的

CSDN话题挑战赛第2期
参赛话题：学习笔记