【机器学习系列】浙大机器学习课程-第二章支持向量机

1.支持向量机线性可分情况

1.1线性可分的定义

线性可分指的是可以使用一条直线分开两个不同的类别，否则为线性不可分。
二维特征空间中可视化的例子：

三维特征空间可视化的例子：

1.2线性可分下的优化问题

需要注意的是，在线性不可分的情况下，我们通过添加松驰项来放宽限制条件的约束。此外，我们在目标函数中添加对松弛项的惩罚。

2.支持向量机算法

支持向量机是通过将特征空间由低维映射为高维。

2.1核函数的定义

上面的问题中，将特征空间从低维映射到高维的关键元素就是映射函数$\phi (\cdot )$的选取。

SVM中不需要知道映射函数的具体形式，我们仅仅需要知道核函数$K(X_1,X_2)$的形式。通常来说，我们也无法显式表示映射函数的具体形式。
$$K(X_1,X_2)=\phi (X_1{)}^T\phi (X_2)$$
因为核函数和映射关系$\phi (\cdot )$是一一映射的关系。这种核函数不是任意的，需要满足交换性和半正定性条件。常见的核函数为高斯核函数和sigmoid核函数。

2.2原问题和对偶问题

3.度量系统性能的标准

3.1识别率

在不知道数据分布的情况下，单纯使用识别率评判系统的好坏是没有意义的。

3.2混淆矩阵

3.3ROC曲线

4.支持向量机的多分类问题

1. 1类对K-1类
   存在的问题是：类别不平衡。
   

2. 1类对另一类
   存在的问题：当类别数目过大时，需要构建的支持向量机数量过多，从而导致过高的时间计算开销。