感知机学习笔记

感知机

1.感知机概念

感知机（perceptron）是二类分类的线性分类模型，其输入为实例的特征向量，输出为实例的类别，取+1 和 -1 二值。

感知机对应于输入空间（特征空间）中将实例划分为正负两类的分离超平面，属于判别模型。

感知机预测是用学习得到的感知机模型对新的输入实例进行分类。

感知机 1957年由 Rosenblatt 提出，是神经网络与支持向量机的基础。

2.感知机公式解析

公式原本是这样的：（不是《统计学习方法》上的）

其实对应的就是这张图：

输出也就是$t$，要么是$1$，要么是$-1$

感知机由两部分组成，一部分是判断它在分界线的那哪边，另外一部分就是分界线本身，我们熟悉的表达是这样子的，两个变量$x$，$y$和一个常量$c$

如果是三维可以表现成这样的形式：三个变量$x$，$y$，$z$和一个常量$d$

那如果是更高的维度呢？显然，画不出来了。。。

所以我们可以想象以下，就用下面这个公式表达出来，变量是$x_1-x_n$,系数是$w_1-w_n$：

那么如果这样写，会很占地方，所以简写成：

那么这个式子就可以表达一个高维度的分界线了。

但是这里公式是等于0的，原始的公式并不是等于0，那么这又是怎么回事呢？

看这三张图就明白了。

最后再说一下红框里这种公式的表达形式：

其实这就是矩阵相乘的一种表达形式：

两个相同维度的向量$w$和$x$的点积可以看作矩阵乘积$w^{T}y$

这里注意的就是两个矩阵的标准乘积并不是指两个矩阵中对应元素的乘积。