统计学习方法读书笔记3-感知机SVM

文章目录

      • 1.感知机模型
      • 2.感知机的学习策略
        • 1.数据集的线性可分性
        • 2.感知机学习策略
      • 3.感知机学习算法
        • 1.原始形式-随机梯度下降法
        • 2.对偶形式
      • 4.感知机算法收敛性证明

感知机是二类分类的线性分类模型,其输入是实例的特征向量,输出为实例的类别,属于判别模型。感知机旨在求出将训练数据进行线性划分的分离超平面,为此,导入基于误分类的损失函数,利用梯度下降法,对损失函数进行极小化,得到感知机模型。
统计学习方法读书笔记3-感知机SVM_第1张图片

1.感知机模型

统计学习方法读书笔记3-感知机SVM_第2张图片
统计学习方法读书笔记3-感知机SVM_第3张图片

2.感知机的学习策略

1.数据集的线性可分性

感知机一般划分线性可分数据集

2.感知机学习策略

统计学习方法读书笔记3-感知机SVM_第4张图片
统计学习方法读书笔记3-感知机SVM_第5张图片

3.感知机学习算法

1.原始形式-随机梯度下降法

统计学习方法读书笔记3-感知机SVM_第6张图片
统计学习方法读书笔记3-感知机SVM_第7张图片
统计学习方法读书笔记3-感知机SVM_第8张图片
统计学习方法读书笔记3-感知机SVM_第9张图片

2.对偶形式

对偶形式与原始形式的比较:

 - 对偶形式解决了原始形式的冗余问题
 - α与w的比较,空间复杂度降低
 - 引入了Gram矩阵,消除了x_i,x_j的影响,时间复杂度为O(1)

统计学习方法读书笔记3-感知机SVM_第10张图片
统计学习方法读书笔记3-感知机SVM_第11张图片
统计学习方法读书笔记3-感知机SVM_第12张图片
统计学习方法读书笔记3-感知机SVM_第13张图片

4.感知机算法收敛性证明

P41~P43
统计学习方法读书笔记3-感知机SVM_第14张图片
统计学习方法读书笔记3-感知机SVM_第15张图片

你可能感兴趣的:(#,机器学习《统计学习方法》,机器学习,算法,python,感知机)