李航《统计学习方法》读书笔记(4)——感知机

  • 概览
  • 感知机模型
  • 感知机学习策略
  • 感知机学习算法
  • 感知机学习算法的实现

概览

感知机(perceptron)

  • 二类分类线性分类模型
  • 输入:实例特征向量
  • 输出:实例类别,取+1和-1二值
  • 旨在求出分离超平面;属于判别模型
  • 基于误分类的损失函数,使用梯度下降法对损失函数进行极小化
  • 分原始形式和对偶形式

感知机模型

f(x) = sign(w*x+b)

  • x:实例特征向量
  • w:权值或权值向量
  • b:偏置

在这里插入图片描述

几何解释

李航《统计学习方法》读书笔记(4)——感知机_第1张图片

  • w·x+b = 0为分离超平面(separating hyperplane)
  • w是超平面法向量,b是截距

感知机学习策略

  • 假设训练数据集线性可分(存在某超平面,所有正负实例点正确划分到两侧)
  • 损失函数
    • 误分类点到超平面距离

      在这里插入图片描述

    • 损失函数(经验风险):是参数w,b的连续可导函数
      在这里插入图片描述


感知机学习算法

随机梯度下降法(stochastic gradient descent)

  • 原始形式

  • 对偶形式

感知机学习算法的实现

你可能感兴趣的:(数据结构和算法学习)