统计学习方法读书笔记 第二章 感知机 【自用】

文章目录

  • 第二章 感知机
    • 2.1 感知机模型
    • 2.2 感知机学习策略
    • 2.3 感知机学习的算法
      • 2.3.1 感知机学习算法的原始形式
      • 2.3.2 算法的收敛性
      • 2.3.3 感知机学习算法的对偶形式

第二章 感知机

2.1 感知机模型

统计学习方法读书笔记 第二章 感知机 【自用】_第1张图片

感知机是一种线性分类模型,属于判别模型

假设空间:

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-y7ffpvHe-1664274272278)(C:\Users\29982\AppData\Roaming\Typora\typora-user-images\image-20220820164946001.png)]

超平面:指比他所处环境空间小一维的子空间

2.2 感知机学习策略

感知机学习目标:求得一个能够将训练集正实例点和负实例点完全正确分开的分离超平面。(即确定参数ω,b)

统计学习方法读书笔记 第二章 感知机 【自用】_第2张图片

||ω||2122232······ωn2

统计学习方法读书笔记 第二章 感知机 【自用】_第3张图片

2.3 感知机学习的算法

感知机的学习算法是误分类驱动的,采用随机梯度下降法(stochastic gradient)。

首先任选一个超平面ω0,b0,然后用梯度下降法不断地极小化目标函数。

极小化过程不是一次使M中所有误分类点的梯度下降,而是一次随机选取一个误分类点使其梯度下降
统计学习方法读书笔记 第二章 感知机 【自用】_第4张图片

梯度由对ω和b求偏导得来。

2.3.1 感知机学习算法的原始形式

统计学习方法读书笔记 第二章 感知机 【自用】_第5张图片

即用误分类点对超平面进行不断的迭代与更新。

感知机学习算法由于采用不同的初值或者选取不同的误分类点,解可以不同

2.3.2 算法的收敛性

即通过有限次迭代,一定可以找到一个超平面是正负两例完全分开

统计学习方法读书笔记 第二章 感知机 【自用】_第6张图片

统计学习方法读书笔记 第二章 感知机 【自用】_第7张图片

统计学习方法读书笔记 第二章 感知机 【自用】_第8张图片

2.3.3 感知机学习算法的对偶形式

基本想法:将ω和b表示为实例xi和标记yi的线性组合的形式,通过求解其系数从而求的ω和b。

统计学习方法读书笔记 第二章 感知机 【自用】_第9张图片

统计学习方法读书笔记 第二章 感知机 【自用】_第10张图片

对偶形式中训练实例仅以内积的形式出现。

为了方便,预先计算出训练集中实例间的内积并以矩阵形式存储。

成为Gram矩阵

在这里插入图片描述

你可能感兴趣的:(统计学习方法读书笔记 第二章 感知机 【自用】)