西瓜书——支持向量机

西瓜书——支持向量机(SVM)

一、SVM简介

• 核心思想：利用某些支持向量机所构成的“超平面”(即分割平面)，利用“超平面”将样本点切割开来
• 是一种有监督的机器学习，二分类问题
• 特点：
  • 可用于分类和预测，但不适合大样本的分类或预测
  • 支持向量机是针对二分类任务设计的，对多分类任务要进行专门的推广
  • 对于低维不可分的空间转换为高维的线性可分空间（升维）
  • 对样本缺失非常敏感

二、间隔与支持向量

• 在样本空间中，划分超平面为

  

• 样本空间任意点到超平面的距离

• 

• 支持向量：离这个超平面最近的点

• 间隔：点到超平面的距离

• 支持向量机的意思就是使超平面和支持向量之间的间隔尽可能的大，

三、对偶问题

• 目的：求最大间隔时所划分超平面所对应的模型
• 二次规划：是解决特殊类型数据优化（最大化或最小化）问题的过程，即优化受几个线性变量约束的二次函数问题。
• 拉格朗日乘子法：是求解最优化问题中最常见的方法，求变量受一个或多个条件所限制的多元函数极值。一般情况下，最优化

• 支持向量机的关键是如何从支持向量构建出解。训练完后，大部分训练样本都不需要保留，最终模型仅与支持向量有关

• 对于偏移项，理论上，可选取任意支持向量通过求解式求得b，但现实中通常做法：使用所有支持向量求解的平均值

四、核函数

• 线性可分：存在一个划分超平面能将训练样本正确分类
• 线性不可分：不存在一个能正确划分两类样本的超平面，有部分样本用线性分类面划分时会产生分类误差的情况 ——> 可将样本从原始空间映射到一个更高维度的特征空间，使得样本在这个特征空间内线性可分。并且，如果原始空间是有限维，即属性数有限，则一定存在一个高维特征空间是样本可分。

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-qQNlrYwg-1636035007948)(https://i.loli.net/2021/11/03/94xWQRLIPHFAbqY.png)]

• 超平面模型最优解可通过训练样本的核函数展开
• 若已知合适的映射φ( . )的具体形式，则可写出核函数κ ( .，.)
• 核函数定理[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-g92t8G4d-1636035007949)(https://i.loli.net/2021/11/02/Q2RtBxj8JncsuVU.png)]
• 只要一个对称函数所对应的核矩阵半正定，它就能作为核函数使用；对于一个半正定核矩阵，总能找到一个与之对应的映射φ
• 
• 核函数直接决定了支持向量机与核方法的最终性能，但核函数的选择仍是未解。
• 多核学习：使用多个核函数并通过学习获得其最优凸组合作为最终的核函数。

五、软间隔与正则化

• 问题：在现实任务中往往很难确定合适的核函数使得训练样本在特种空间中线性可分，即使找到了，也可能是由于过拟合造成的---->允许支持向量机在一些样本中出错（软间隔）（硬间隔：所有样本都必须划分正确）

• 损失函数用来评价模型的预测值和真实值不一样的程度，损失函数越好，通常模型的性能越好
• “0/1损失函数”：
• 损失函数分为经验风险损失函数和结构风险损失函数。
  • 经验风险损失函数指预测结果和实际结果的差别.
  • 结构风险损失函数是指经验风险损失函数加上正则项。
• 正则化：一种为了减小测试误差的行为（但有时会增加训练误差）。当遇到模型过拟合，模型泛化能力下降时，我们可以使用正则化，降低模型的复杂度。

六、支持向量回归

• 支持向量回归（SVR）：假设我们能容忍f(x)与y之间最多有的偏差，即仅当f(x)与y之间的差别绝对值大于时才计算损失

七 、核方法

• 核方法：一系列基于核函数的学习方法。最常见的是通过"核化"（引入核函数）将线性学习器拓展为非线性学习器。

八、学以致用

• 线性可分

SVM模型代码（含数据）及笔记

enyangfeng/machine-learning/blob/master/%E8%A5%BF%E7%93%9C%E4%B9%A6-SVM%E6%A8%A1%E5%9E%8B.zip)