【机器学习五】感知机

感知机是一个简单的二分类线性模型，在机器学习中是一个十分基础的知识，它是很多算法，逻辑回归，支持向量机，神经网络等的起源。

具体可参考：1. 感知机原理（Perceptron） - hyc339408769 - 博客园

作者应该是参考李航的统计学习方法加上自己的见解，我觉得写得很好了～

需要注意的几个点：

1.样本输入感知机模型后，与权值、偏置一起计算得到结果后，输入到符号函数中分为两类，大于0为+1类，小于0为-1类。

2.损失函数；

3.极小化损失函数，求的权值和偏置；

使用随机梯度下降法，因为在感知机中只有错误分类的样本会产生误差，因此采用批量梯度下降是不合适的，使用随机梯度下降法，在训练中：我们遇到一个分类正确的样本就继续下一个样本；遇到一个分类错误的样本，就使用梯度下降更新参数；直到没有误分类的样本，结束。

4.线性可分、线性不可分

对一个线性可分的问题，感知机模型的迭代是收敛的，并且会存在很多的解，即存在很多可以将样本完全分开的超平面（想要得到唯一的超平面，就是支持向量机的思路了）。

对线性不可分的问题，迭代到最后是不收敛的，结果会发生振荡，表现在图像上就是超平面不断变化不能确定。（因为感知机结束迭代的条件不是误差达到足够小而是全部分类正确）