周志华机器学习-支持向量机

周志华机器学习-支持向量机

第一章 绪论
第二章 模型评估与选择
第三章 线性模型
第四章 决策树
第五章 支持向量机
第六章 神经网络
第七章 贝叶斯分类器
第八章 集成学习和聚类

文章目录

  • 周志华机器学习-支持向量机
  • 一、支持向量机基本型
  • 二、对偶问题与解的特性
  • 三、求解方法
  • 四、特征空间映射
  • 五、核函数
  • 六、如何使用SVM


一、支持向量机基本型

周志华机器学习-支持向量机_第1张图片
周志华机器学习-支持向量机_第2张图片

二、对偶问题与解的特性

周志华机器学习-支持向量机_第3张图片
周志华机器学习-支持向量机_第4张图片

三、求解方法

周志华机器学习-支持向量机_第5张图片

  1. SMO求解方法
  • 是一个迭代更新的算法
  • 先选取KKT条件违背程度最大的变量
  • 当变量固定后,原始问题具有闭式解
  1. 在使用SMO方法优化支持向量机的对偶问题时,每次需要选择几个变量并固定其他变量不变

四、特征空间映射

周志华机器学习-支持向量机_第6张图片
周志华机器学习-支持向量机_第7张图片
需要寻找某个东西来代替高维向量的内积–核函数

五、核函数

周志华机器学习-支持向量机_第8张图片

核函数:
能绕过显式考虑特征映射
能够缓解计算高维内积的困难
能够直接在原始的特征空间计算

六、如何使用SVM

周志华机器学习-支持向量机_第9张图片

间隔带内的不计惩罚,间隔带外的计惩罚周志华机器学习-支持向量机_第10张图片
周志华机器学习-支持向量机_第11张图片

你可能感兴趣的:(机器学习,算法)