核方法是一类把低维空间的非线性可分问题,转化为高维空间的线性可分问题的方法。核方法的理论基础是Cover’s theorem,指的是对于非线性可分的训练集,可以大概率通过将其非线性映射到一个高维空间来转化成线性可分的训练集。
kmeans是一种基于距离的聚类算法,它将数据点划分为k个簇,使得每个簇内的数据点与其质心(簇内数据点的平均值)的距离之和最小。
谱聚类是一种基于图论的聚类算法,它将数据点看作图中的节点,根据数据点之间的相似度构建一个邻接矩阵,然后通过对邻接矩阵进行特征分解,得到一个低维空间中的嵌入表示,再在这个空间中用kmeans进行聚类。
kmeans和谱聚类各有优缺点:
使用核函数SVM的原始优化目标是:
min w , b 1 2 ∣ w ∣ 2 + C ∑ i = 1 n ξ i \min_{w,b} \frac{1}{2} |w|^2 + C \sum_{i=1}^n \xi_i \ w,bmin21∣w∣2+Ci=1∑nξi
s . t . y i ( w ⊤ ϕ ( x i ) + b ) ≥ 1 − ξ i , i = 1 , … , n ξ i ≥ 0 , i = 1 , … , n s.t. y_i (w^\top \phi(x_i) + b) \geq 1 - \xi_i, i = 1,\dots,n \ \xi_i \geq 0, i = 1,\dots,n s.t.yi(w⊤ϕ(xi)+b)≥1−ξi,i=1,…,n ξi≥0,i=1,…,n
其中 ϕ ( x ) \phi(x) ϕ(x)表示将 x x x映射后的特征向量。
推导其对偶形式如下:
首先构造拉格朗日函数:
L ( w , b , ξ , α , β ) = 1 2 ∣ w ∣ 2 + C ∑ i = 1 n ξ i − ∑ i = 1 n α i [ y i ( w ⊤ ϕ ( x i ) + b ) − 1 + ξ i ] − ∑ i = 1 n β i ξ i L(w,b,\xi,\alpha,\beta) = \frac{1}{2} |w|^2 + C \sum_{i=1}^n \xi_i - \sum_{i=1}^n \alpha_i [y_i (w^\top \phi(x_i) + b) - 1 + \xi_i] - \sum_{i=1}^n \beta_i\xi_i L(w,b,ξ,α,β)=21∣w∣2+Ci=1∑nξi−i=1∑nαi[yi(w⊤ϕ(xi)+b)−1+ξi]−i=1∑nβiξi
其中 α \alpha α和 β \beta β是拉格朗日乘子。
然后令 L L L对 w , b , ξ w,b,\xi w,b,ξ求偏导并令其为零,得到:
w = ∑ i = 1 n α i y i ϕ ( x i ) 0 = ∑ i = 1 n α i y i C − α − β = 0 w = \sum_{i=1}^n\alpha_i y_i\phi(x_i) \ 0 = \sum_{i=1}^n\alpha_i y_i \ C-\alpha-\beta = 0 w=i=1∑nαiyiϕ(xi) 0=i=1∑nαiyi C−α−β=0
代入 L L L中,并去掉常数项,得到对偶问题:
max α W ( α ) = − 1 2 ∑ i , j α i α j y i y j K ( x i x j ) + ∑ i α i \max_\alpha W(\alpha) = -\frac{1}{2}\sum_{i,j}\alpha_i\alpha_j y_ i y_j K(x_ix_j)+\sum_{i}\alpha_ i\ αmaxW(α)=−21i,j∑αiαjyiyjK(xixj)+i∑αi s . t . 0 ⩽ a i ⩽ C , i = 1 , … , N 0 = ∑ i α i y i , i = 1 , … , N s.t. 0\leqslant a_ i\leqslant C,i= 1,…,N\ 0=\sum_{i}\alpha_ iy_ i,i= 1,…,N s.t.0⩽ai⩽C,i=1,…,N 0=i∑αiyi,i=1,…,N
其中 K ( x i x j ) = < ϕ ( x i ) , ϕ ( x j ) > K(x_ix_j)=<\phi(x_ i),\phi(x_ j)> K(xixj)=<ϕ(xi),ϕ(xj)>是核函数。
最终分类模型是:
f ( x ) = s i g n ( ∑ j α j y j K ( x , x j ) + b ) f(x)=sign(\sum_{j}\alpha_jy_jK(x,x_j)+b) f(x)=sign(j∑αjyjK(x,xj)+b)
也可以是