【机器学习（二）】感知机

本篇是关于机器学习的第二篇，这一系列的文章主要是参考李航老师的《统计学习方法》一书，以及兼考虑周志华老师的《机器学习》一书

本篇主要讲述的是感知机，需要注意的是与后面的支持向量机（SVM）的比较，尤其是与线性可分的支持向量机之间的比较。

1. 简介

• 感知机是二类分类的线性分类模型
• 将输入空间（特征空间）划分为正负两类的分离超平面
• 属于判别模型

2. 模型

• 参数空间为各维的权重w及额外的偏置b（n+1）
• 其中w为切分超平面的发现，b为切分超平面与原点的距离

3. 策略

• 损失函数为误分类点到超平面的距离
• 距离的分母可以省略的原因
• 误分类点的判断，模型的输出与标注异号即为误分类点

4. 算法

• 随机梯度下降法
• 具体算法
  • 参数选择初值
  • 从训练集中选择某个样本，若为误分类点，则进行梯度下降
  • 以上步骤直至没有误分类点为止

5. 补充

• 原始形式与对偶形式（区别）

（公式及相关图片待补充。。。。。）