简明机器学习教程——实践篇(一):从感知机入手

注:因为的公式输入不便以及排版等等种种问题,这里仅仅转载了文字部分。建议你移步至我的博客阅览:KAAAsS‘s Blog - 简明机器学习教程

本篇教程的目标很明显,就是实践。进一步的来说,就是,当你学到了一些关于机器学习的知识后,怎样通过实践以加深对内容的理解。这里,我们从李航博士的《统计学习方法》的第2章感知机来做例子,由此引出大致的学习方法。需要注意的是,这篇教程并不是来介绍感知机模型的,而是用来说明如何学习并实践一个模型的,所以对感知机的解释不会很详细。本篇教程的内容较基础,内容主要面向对机器学习有兴趣且有初步了解的人。由于本文目标人群特殊,加之作者水平实在有限,有表述不严谨或错误之处,还请各路大神多多指出。本篇需要读者的准备:matlab(测试模型用)、热爱机器学习的大脑(啊喂我的严肃气氛!)

首先:了解模型

模型类型

当我们在学习一个模型时,很重要的一点就是我们要了解这个模型的作用,以及其适用的情况。下面我们就来分析感知机:

感知机(perceptron)二类分类线性分类模型,其输入为实例的特征向量,输出为实例的类别,取+1和-1二值。开篇第一句,我们就能对这个模型建立起一个大概的框架了。首先,感知机是一个二类分类模型,也就是说感知机只能分类出两个类别。其次,感知机是线性的分类模型,也就是说感知机这个模型所适用的数据必须是线性可分的。到此为止,对于感知机的适用范围,我们已经知道了不少:首先,感知机是判别模型,适用于分类问题,且可以区分的类别数为2类;其次,感知机是线性分类模型。如果你还是不理解感知机适用的问题类型,那我在这里举个例子:在二维的情况下,感知机相当于在平面上划一根线,从而把平面分成两半;在三维的情况下,感知机相当于拿一把菜刀在空间里切一刀,从而把空间分为两类。这两句话在其适用范围内,等价于下面这句话:感知机对应于输入空间(特征空间)中将实例划分为正负两类的分离超平面(三维下是“菜刀”),属于判别模型。

模型

下式即感知机模型中,将输入空间映射到输出空间的函数:

w就是模型的权值(weight),又称权重;b即偏置(bias)。其中的sign函数定义如下(有些地方作:sgn):

需要注意的是,一般情况下,sign(0)的值是0。这里为了保证模型输出为+1或-1,故规定sign(0)=+1。根据模型,我们不难看出感知机的几何意义。线性方程

就是分开空间的超平面。其中,w是平面的一个法向量(几何上),b就是其截距。

训练

损失函数

简而言之,最小化损失函数。首先,定义(经验)损失函数(详细过程请见原书2.2.2 P27):

损失函数,可以理解为是对感知机模型错误分类程度的评估函数。有了损失函数,我们就可以将训练感知机问题转化为极小化损失函数问题。

普通形式——梯度下降

这里,我们采用梯度下降法(gradient descent)的变式随机梯度下降法(Stochastic Gradient Descent)进行极小化。关于两种算法的关系、优劣均不在本文讨论范围内,故省略。偏导求解梯度:

算法步骤如下:

选择初始超平面S,即选择

随机选择一个误分类点

,更新w、b。其中,α 是每次迭代的步长,又称为学习率。

重复2,直到无分类点为止。

不难发现,若数据集是线性可分的,那么损失函数最终将会等于0。

实践

代码是彻底没办法放上去了QAQ,请移步至博客:KAAAsS‘s Blog - 简明机器学习教程

训练效果:

感知机第3次迭代

感知机第5次迭代

感知机第9次迭代

感知机最后结果


你可能感兴趣的:(简明机器学习教程——实践篇(一):从感知机入手)