SVM

对偶问题和KKT条件

标准形式
$$Min{f}_0(x)$$
$$s.t.f_i(x)\le 0i=1,...,m$$
$$h_i(x)=0i=1,...,p$$
其中$x\in R^n$，定义域$D$，最优值$p^{\ast }$





拉格朗日：$L:R^n\times R^m\times R^p\to R$
$dom(L)=D\times R^m\times R^p$
$$L(x,\lambda ,\nu )=f_0(x)+\sum _{i=1}^m{\lambda }_i{f}_i(x)+\sum _{i=1}^p{\nu }_i{h}_i(x)$$

拉格朗日对偶函数：
$$g(\lambda ,\nu )=\underset{x\in D}{\inf }L(x,\lambda ,\nu )$$
$$\underset{x\in D}{\inf }(f_0(x)+\sum _{i=1}^m{\lambda }_i{f}_i(x)+\sum _{i=1}^p{\nu }_i{h}_i(x))$$

• $g$ 凹 ,可能 负无穷 for some $\lambda ,\nu$
• lower bound property:if $\lambda \ge 0,$就$g(\lambda ,\nu )\le p^{\ast }$

第二个为什么成立呢？
假设$D子集$就是满足s.t.条件的$x$集合，那么
$$p^{\ast }=\underset{D子集}{\inf }{f}_0(x)=$$
$$\underset{D子集}{\inf }{f}_0(x)+\sum _{i=1}^p{\nu }_i{h}_i(x))\ge$$
$$\underset{x\in D子集}{\inf }(f_0(x)+\sum _{i=1}^m{\lambda }_i{f}_i(x)+\sum _{i=1}^p{\nu }_i{h}_i(x))\ge$$
$$\underset{x\in D}{\inf }(f_0(x)+\sum _{i=1}^m{\lambda }_i{f}_i(x)+\sum _{i=1}^p{\nu }_i{h}_i(x))$$
$$=g(\lambda ,\nu )$$




\

拉格朗日对偶问题

$$maxg(\lambda ,\nu )$$
$$s.t.\lambda \ge 0$$

• find best lower bound on $p^{\ast }$，ontained from 拉格朗日对偶函数
• a concave optimization problem with optimal value denoted as $d^{\ast }$
  

弱强对偶

• 弱：$d^{\ast }\le p^{\ast }$
  -总是成立
  可以用来去找困难问题的非平凡下界
• $d^{\ast }=p^{\ast }$
  -一般并不成立
  通常对于凸问题成立

互补松弛定理

KKT

\

互补松弛

kernel extension

Key Ideas of Kernel Methods

• Instead of defining a nonlinear model in the original (input) space,
  • the problem is mapped to a new (feature) space by performing a nonlinear transformation using suitably chosen basis functions.
    • 基本函数不是核函数哦
• A linear model is then applied in the new space.
  • 新空间用线性SVM吧
• The basis functions are often defined implicitly via defining kernel functions directly.
  • 先定义核函数，隐式的定义了基本函数

Basis Functions

• 基本函数
  • $z=\varphi (x)$
  • 其中$z_j={\varphi }_j(x)$，$j=1,2,...,M$
  • $M$应该是维度吧
  • 意思就是我z的每个分量是这样定的哦
• 判别函数
  • $g(z)=w^{T}z$
  • $g(z)=w^T\varphi (x)=\sum _{j=1}^M{w}_j{\varphi }_j(x)$