【机器学习(二)】感知机

本篇是关于机器学习的第二篇,这一系列的文章主要是参考李航老师的《统计学习方法》一书,以及兼考虑周志华老师的《机器学习》一书

本篇主要讲述的是感知机,需要注意的是与后面的支持向量机(SVM)的比较,尤其是与线性可分的支持向量机之间的比较。

1. 简介

  • 感知机是二类分类的线性分类模型
  • 将输入空间(特征空间)划分为正负两类的分离超平面
  • 属于判别模型

2. 模型

  • 参数空间为各维的权重w及额外的偏置b(n+1)
  • 其中w为切分超平面的发现,b为切分超平面与原点的距离

3. 策略

  • 损失函数为误分类点到超平面的距离
  • 距离的分母可以省略的原因
  • 误分类点的判断,模型的输出与标注异号即为误分类点

4. 算法

  • 随机梯度下降法
  • 具体算法
    • 参数选择初值
    • 从训练集中选择某个样本,若为误分类点,则进行梯度下降
    • 以上步骤直至没有误分类点为止

5. 补充

  • 原始形式与对偶形式(区别)

(公式及相关图片待补充。。。。。)

你可能感兴趣的:(Machine,Learning)