感知机的对偶形式及Gram矩阵的作用理解 通俗易懂

学习李航《统计机器学习》的时候，看到感知机的对偶形式这里不甚理解，其实主要是对其中的系数  更新规则不是很理解。另外，只介绍了 Gram 矩阵，也没有说清楚 Gram 矩阵的作用。经过仔细的思考，写下了自己的见解。

直接切入正题

感知机模型：

感知机的原始形式

感知机的损失函数：

损失函数的梯度：                                

                               

于是更新规则为：    

                               

注意上面的更新是每遇到一个分类错误的样本就对  和  进行更新，以调整分隔超平面。

感知机的对偶形式

感知机的对偶形式是从增量的角度去看到参数的更新的。即先把所有的增量求出来，最后的参数就是在原来的参数基础上加上总的增量。

于是上面的更新规则中  就是可以看做是  的一个增量，这是遇到一个错误样本的增量，那么总的增量也就是对所有错误样本的增量为：

                                                                         

                                                                         

其中是总的样本数，注意下标是  是从 1~，也就是从第一个样本到最后一个样本遍历进行调整。这个过程中会出现原来分类错误的样本在超平面调整后分类正确，但是接着遇到其他样本又对超平面调整从而这个样本又被错误分类。注意样本是随机选择的，所以这个样本还会被选到来对超平面进行调整。也就是说，其中的每个样本都有可能被使用多次。由于下标是从 1~ 默认的是每个样本使用一次，显然不合理，所以就有  表示第  个样本被使用的次数，而每个错误样本的增量为 ，这样第  个样本的增量就是   ，其中令  。于是 1~ 总的样本增量就是上面那个式子。

再来看对偶形式的更新规则：                    

                                                               

对  的更新规则可以写成                        

可以看到，这本质上是对  的更新，是对第  个错误样本的计数更新。有两个角度看待这个更新，分别是   和 。前者是在走的总步长基础上遇到新的错误样本再增加一个步长（因为每遇到一个错误样本增加一个步长  ）。后者是对第  个样本总的使用次数在它又被选为错误样本时对她的计数更新（因为每遇到一个错误样本增加的步长是固定的 ，所以只需要更新计数，记下样本总的使用次数）

而对  的更新和原始形式更新相同，也可以理解为已经更新 ，每次都直接在此基础上对  直接更新。理解了上面的对  的增量更新思想，其实也可以每次不更新  ，而是只对  更新，最后  也通过 =+总的增量 算出最后的  。

每次对  的更新，需要满足 ，其中的  实际上就是在遇到第  个样本后计算出  ，与  相乘，这与原始形式的判别误分条件 是一样的。

如书上例题：正例：， ，反例： ，用感知机对偶形式求感知机模型。

（1）首先初始化 ，，因为  中的  是记录每个样本的使用次数，因此  的个数为样本数 ，即 ，

（2）计算误分条件

对于 ，= 0，（步长为1，省掉了），结果为 0 ，说明  为误分类样本，于是更新 ，。这里可以这么更新 ，也可以按照原始形式更新形式更新  ，当然也可以不更新 ，因为对偶形式系数更新的本质是对样本使用次数的更新，因此对  的更新才是最重要的。

之前不理解的地方是遇到   判断误分条件中却要连带其他样本  一起计算，总是觉得别扭。现在考虑，这其实是为了在这一步计算出  ，确定当前的分离超平面，才能判断  是否误分。只碰到   ，于是  使用次数  为 0 ，所确定的超平面会对  误分，于是使用  ，其使用次数增加1，从而更新 α ，这就会调整这个超平面。这就是遇到样本判断误分接着调整的完整过程。

Gram 矩阵的作用

书上只是计算了 Gram 矩阵，却没有表明哪里用到了 Gram 矩阵。

在计算     ，其中   是从 1~，前面的  是个常数，后面的  会跟每个样本   做内积 ，所以就会要计算

                                                  

                                                 

                                                  

将后面要做内积的    提取出来，组成的矩阵就是 Gram 矩阵

                                                  

将前面的常数组成行向量就是 

从而要计算的的所有式子就可以放在一个矩阵里面：

                                            

其中第一列就是遇到  时候的误分判别计算式，第  个样本要计算的误分判别式在第  列。

于是说，在计算之前，我们就可以先把训练集中实例间的内积计算出来并以矩阵的形式存储，这个矩阵就是 Gram 矩阵。

 

 

           转载：https://blog.csdn.net/qq_26826585/article/details/87967520
           有一个博客讲解例题的计算过程：https://blog.csdn.net/bingfeiqiji/article/details/82877670