统计学习 势函数算法

势函数

在线性分类中,还包括一种势函数的判别方法,其来源于等势线、等高线的概念。对于两类可分问题,其中属于w1占据一个高山及其周围区域;而属于w2占据一个低谷及其区域。那么其中存在一条等高线,高于该等高线的属于w1类;低于该等高线的属于w2类.

对于一个x_{i}确定的区域,其势函数的表达式为K(X,X_{i})    一个势函数有以下特点:

  • 当X越接近X_{i}时,K(X,X_{i})的函数值越大,当X=X_{i}时,K(X,X_{i})取得最大值
  • 当X越远离X_{i}时,K(X,X_{i})的函数值越小,特别的X=X_{j}(其中j不等于i)时,K(X,X_{i})值通常非常小

势函数的产生过程就是不断叠加上之前每个分类错误样本X_{i}的势函数,而上述第二个特点确保新加入的势函数增加项不会对之前的分类产生影响(增加项对于之前点的函数值接近0)

假设之前计算出的势函数为K_{n}(X)  那么下一步第n+1个样本X_{n+1}计算为:

X_{n+1}属于w1类,并且K_{n}(x_{n+1})>0  那么势函数 K_{n+1}(X)=K_{n}(X)

X_{n+1}属于w1类,并且K_{n}(x_{n+1})<0  那么势函数 K_{n+1}(X)=K_{n}(X)+K(X,X_{n+1})

X_{n+1}属于w2类,并且K_{n}(x_{n+1})<0  那么势函数 K_{n+1}(X)=K_{n}(X)

X_{n+1}属于w2类,并且K_{n}(x_{n+1})>0  那么势函数不K_{n+1}(X)=K_{n}(X)-K(X,X_{n+1})

由此可见,势函数是由计算过程中分类错误样本的势函数组合而成,势函数可以应用于线性不可分的分类任务。

势函数形式

 

第一类势函数:采用对称的多项式展开,通常需要为正交函数集,

统计学习 势函数算法_第1张图片

计算实例:

统计学习 势函数算法_第2张图片

 

 

第二类势函数:选择双变量的对称函数作为势函数

K(x,x_{i})=e^{-\alpha \left \| x-x_{i} \right \|^{2}}      当x=x_{i}时有最大值1  当x远离x_{i}时,趋近于0

 

K(x,x_{i})=\frac{1}{1+\alpha\left \| x-x_{i} \right \|^{2} }

计算实例:

统计学习 势函数算法_第3张图片

 

 

 

 

 

 

 

 

 

 

你可能感兴趣的:(统计学习)