感知机算法的收敛证明,详细

之前零零散散学习机器学习,没细扣一些证明之类的东西,感觉能够支撑我对算法的理解就好,最近想出去找实习了,想想还是找本书扣一下细节。推荐大家一本李航教授写的《统计学习》写的很通俗,本文也是对该书相应部分进行详细备注的。(因为中间一些节点不说破看不懂,本人也是看了别人博客才弄清楚的)

希望对大家有所帮助,看懂了点个赞

——————————————————————我是分界线———————————————————————

首先先声明一下证明算法收敛的方向

收敛就是算法执行到某一步一定会结束,不然算法无穷无尽迭代下去怎么办

所以要先证明存在一个K,它就是迭代次数的一个上限

K存在的证明有两步

  1. 证明成立
  2. ,证明成立

   至于为什么是这两个公式,我只能说一点原因都没有,就是人家的数学修养好,知道要引出这两个东西好让最后得出K

那让我们先看看K的形式:

神奇吧!这个形式不就证明了K是有上限的吗?这就证明了算法收敛了(R和γ是什么先不管,看下面↓↓↓)

————————————————————————我还是分界线——————————————————————

#先交代一下权重w和偏置b的梯度如下:


                                    


                                         


为了便于叙述和推导,将偏置b并入权重w,记作同样也将输入向量加以扩充,加入常数1,

记作这样

——————————————————————我,是分界线————————————————————————

#OK现在我们开始推导

        假设存在的一个超平面(随便都可以,1是为了方便),则,该平面对训练集中的全部样本准确分类,

存在一个>0,使得 

意思就是比最靠近超平面的点到超平面的距离还要小。往证明(1)

       证明:

                              ∵   

                              ∴   

                                             上面最后一个不等式中代替了使得等号变成了不等号。

                                                                 仔细看下有没有发现递推规律出来了

                                            

                                                                         即:

                                                       如此简单我们证明了第一个不等式,是不是很简单

 

#我们再看第二个不等式

 

(2)

(2)题干

                                ∵

                                                                        感知机算法的收敛证明,详细_第1张图片

        其中第1个等式是对的展开,形如(a+b)^2=a^2+2ab+b^2,不懂看向量求模那一块

        第2个不等式是因为在算法迭代的过程中第k-1步是发现x_{k-1}个样本分类错误的。所以有y_{k-1}w_{k-1}x_{k-1}是反方向的,所以乘积为负,省略后变≤。

        第3步是引入条件,从这一步开始又变成递推公式了。

好了在这里完成了对第二个不等式的证明。看到这里了离成功只有一步了,作为一个自认为数学菜鸟的你居然完成了Novikoff的证明,

让我们看回证明过的两个不等式

                                                      ...............................................(1)                   

                                                   ................................................(2)

                                                                                        结合一下

                                                       

                                                                                      再两边平方,削去η

                                                                                            

                                                                      再去k移项不就得到了我们要的东西吗?

                                                                                              

K大于这个形式那么算法的收敛就得到证明了

———————————————————————分界线—————————————————————————

希望能帮到你,看懂了点个赞呗

你可能感兴趣的:(机器学习,感知机)