感知机算法的收敛证明，详细

之前零零散散学习机器学习，没细扣一些证明之类的东西，感觉能够支撑我对算法的理解就好，最近想出去找实习了，想想还是找本书扣一下细节。推荐大家一本李航教授写的《统计学习》写的很通俗，本文也是对该书相应部分进行详细备注的。（因为中间一些节点不说破看不懂，本人也是看了别人博客才弄清楚的）

希望对大家有所帮助，看懂了点个赞

——————————————————————我是分界线———————————————————————

首先先声明一下证明算法收敛的方向

收敛就是算法执行到某一步一定会结束，不然算法无穷无尽迭代下去怎么办

所以要先证明存在一个K，它就是迭代次数的一个上限

K存在的证明有两步

1. 证明成立
2. ，证明成立

   至于为什么是这两个公式，我只能说一点原因都没有，就是人家的数学修养好，知道要引出这两个东西好让最后得出K

那让我们先看看K的形式：

神奇吧！这个形式不就证明了K是有上限的吗？这就证明了算法收敛了(R和γ是什么先不管，看下面↓↓↓)

————————————————————————我还是分界线——————————————————————

#先交代一下权重w和偏置b的梯度如下：

---

                                    

---

                                         

---

为了便于叙述和推导，将偏置b并入权重w，记作同样也将输入向量加以扩充，加入常数1，

记作这样

——————————————————————我，是分界线————————————————————————

#OK现在我们开始推导

        假设存在的一个超平面(随便都可以，1是为了方便)，则，该平面对训练集中的全部样本准确分类，

存在一个>0，使得 ，

意思就是比最靠近超平面的点到超平面的距离还要小。往证明（1）

       证明：

                              ∵   

                              ∴   

                                             上面最后一个不等式中代替了使得等号变成了不等号。

                                                                 仔细看下有没有发现递推规律出来了

                                            

                                                                         即：

                                                       如此简单我们证明了第一个不等式，是不是很简单

 

#我们再看第二个不等式

 

(2)

(2)题干，

                                ∵

                                                                        

        其中第1个等式是对的展开，形如(a+b)^2=a^2+2ab+b^2,不懂看向量求模那一块

        第2个不等式是因为在算法迭代的过程中第k-1步是发现个样本分类错误的。所以有与是反方向的，所以乘积为负，省略后变≤。

        第3步是引入条件，从这一步开始又变成递推公式了。

好了在这里完成了对第二个不等式的证明。看到这里了离成功只有一步了，作为一个自认为数学菜鸟的你居然完成了Novikoff的证明，

让我们看回证明过的两个不等式

                                                      ...............................................(1)                   

                                                   ................................................(2)

                                                                                        结合一下

                                                       

                                                                                      再两边平方，削去η

                                                                                            

                                                                      再去k移项不就得到了我们要的东西吗？

                                                                                              

K大于这个形式那么算法的收敛就得到证明了

———————————————————————分界线—————————————————————————

希望能帮到你，看懂了点个赞呗