简明机器学习教程——实践篇（一）：从感知机入手

有那么一段时间不出干货了，首页都要被每周歌词霸占了，再不写一点东西都要变成咸鱼了。进入正题。本篇教程的目标很明显，就是实践。进一步的来说，就是，当你学到了一些关于机器学习的知识后，怎样通过实践以加深对内容的理解。这里，我们从李航博士的《统计学习方法》的第2章感知机来做例子，由此引出大致的学习方法。需要注意的是，这篇教程并不是来介绍感知机模型的，而是用来说明如何学习并实践一个模型的，所以对感知机的解释不会很详细。本篇教程的内容较基础，内容主要面向对机器学习有兴趣且有初步了解的人。由于本文目标人群特殊，加之作者水平实在有限，有表述不严谨或错误之处，还请各路大神多多指出。本篇需要读者的准备：matlab（测试模型用）、热爱机器学习的大脑（啊喂我的严肃气氛！）。

首先：了解模型

模型类型

当我们在学习一个模型时，很重要的一点就是我们要了解这个模型的作用，以及其适用的情况。下面我们就来分析感知机：
感知机（perceptron）是二类分类的线性分类模型，其输入为实例的特征向量，输出为实例的类别，取+1和-1二值。开篇第一句，我们就能对这个模型建立起一个大概的框架了。首先，感知机是一个二类分类模型，也就是说感知机只能分类出两个类别。其次，感知机是线性的分类模型，也就是说感知机这个模型所适用的数据必须是线性可分的。到此为止，对于感知机的适用范围，我们已经知道了不少：首先，感知机是判别模型，适用于分类问题，且可以区分的类别数为2类；其次，感知机是线性分类模型。如果你还是不理解感知机适用的问题类型，那我在这里举个例子：在二维的情况下，感知机相当于在平面上划一根线，从而把平面分成两半；在三维的情况下，感知机相当于拿一把菜刀在空间里切一刀，从而把空间分为两类。这两句话在其适用范围内，等价于下面这句话：感知机对应于输入空间（特征空间）中将实例划分为正负两类的分离超平面（三维下是“菜刀”），属于判别模型。

模型

下式即感知机模型中，将输入空间映射到输出空间的函数：

w就是模型的权值（weight），又称权重；b即偏置（bias）。其中的sign函数定义如下（有些地方作：sgn）：

需要注意的是，一般情况下，sign(0)的值是0。这里为了保证模型输出为+1或-1，故规定sign(0)=+1。根据模型，我们不难看出感知机的几何意义。线性方程  就是分开空间的超平面。其中，w是平面的一个法向量（几何上），b就是其截距。

训练

损失函数

简而言之，最小化损失函数。首先，定义（经验）损失函数（详细过程请见原书2.2.2 P27）：

损失函数，可以理解为是对感知机模型错误分类程度的评估函数。有了损失函数，我们就可以将训练感知机问题转化为极小化损失函数问题。

普通形式——梯度下降

这里，我们采用梯度下降法（gradient descent）的变式随机梯度下降法（Stochastic Gradient Descent）进行极小化。关于两种算法的关系、优劣均不在本文讨论范围内，故省略。偏导求解梯度：


算法步骤如下：

1. 选择初始超平面S，即选择。
2. 随机选择一个误分类点，更新w、b。其中，α 是每次迭代的步长，又称为学习率。
3. 重复2，直到无分类点为止。

不难发现，若数据集是线性可分的，那么损失函数最终将会等于0。

实践

下面，我们就来用matlab来实现感知机。首先是模型预测函数predict.m（防止重复內建函数sign，作sgn）：

MATLAB

1 2 3 4 5

function [ y ] = predict ( x , w , b ) y = sgn ( x * w + b ) ;   end

之后是损失函数costFunc.m。这里采用了向量化的方式以避免循环：

接下来就是关键部分——SGD算法训练模型了（train_SDG.m），首先初始化：

MATLAB

1 2 3 4 5

alpha = 0.5 ; % init w , b   w = ones ( n , 1 ) ; b = 1 ;

然后开始迭代，首先是随机选择一个错误分类点：

计算梯度，更新参数：

MATLAB

1 2 3 4 5 6 7 8

% calculate gradient   grad_w = - ( y ( idx ) * X ( idx , : ) )' ; grad_b = - y ( idx ) ; % update   w = w - alpha . * grad_w ; b = b - alpha * grad_b ;

最后是判断是否所有点被正确归类：

在我提供的实现中，还包含一个测试数据。运行load_data.m即可载入。然后运行train_SGD.m进行感知机的训练，程序会自动绘制每一次迭代的决策边界（即砍得那一刀的位置），在测试集运行如下：

感知机第3次迭代

感知机第5次迭代

感知机第9次迭代

感知机最后结果

写在后面

本篇教程中所用代码可以在此处下载：提取密码2px8
如有问题，欢迎评论或发送邮件至：[email protected]。

from: https://blog.kaaass.net/archives/598?hmsr=toutiao.io&utm_medium=toutiao.io&utm_source=toutiao.io