机器学习（浙大课程b站）第二章

根据我个人学习的感受，我是以b站浙大机器学习研究生课程(BV1dJ411B7gh)为主，MOOC为辅。

笔记

1. 线性可分与线性不可分
   线性可分(Linear Separable)，存在一条直线可以将两类分开
   

线性不可分(Nonlinear Separable)，不存在一条直线可以将两类分开

以上是二维情况，若是三维，则

若特征空间维度≥四维，分割方式是超平面(Hyperplane)

用数学严格定义线性可分
线性可分的严格定义：一个训练样本集在线性可分，是指存在，使得对，有（其中是向量，是向量，是标签，是常数）：

用向量形式来定义线性可分

线性可分定义的最简化形式


本节思考题：


2.问题描述
如果一个数据集是线性可分的，那么存在无穷多个超平面将各个类别分开。
支持向量机算法：
一、解决线性可分问题；二、再将线性可分问题中获得的结论推广到线性不可分情况
解决线性可分问题，Vapnik问，在这无数多个分开各个类别的超平面中，哪一个是最好的呢？


将平行线插到的向量叫做支持向量

支持向量机寻找的最优分类直线应满足：
（1）该直线分开了两类；
（2）该直线最大化间隔（margin）；
（3）该直线处于间隔的中间，到所有支持向量距离相等。
以上基于二维特征的结果，但是对于高维空间的超平面，结论是一致的。
3.优化问题
最优分类超平面应该满足
（1）该超平面分开了两类
（2）该超平面有最大化间隔
（3）该超平面处于间隔的中间，到所有支持向量距离相等

二次规划问题(Quadratic Programming)：①目标函数(Objective Function)是二次项②限制条件是一次项。

4.SVM处理非线性模型
对于非线性问题而言，上述最优化问题将无解，因此进行改造，改造成非线性可分时也是有解的。
改造：



映射到高维举例：



有证明指出：把一些点随机地放到一个特征空间中，随机地取一些点，同时随机地标上○或×，那么维度越高，被线性分开的概率越大。如果在无限维度上进行上述操作，那么被线性分开的概率将变为1。

则优化式
仍然可解。


优化理论知识补充：
推荐书籍：①凸优化《convex optimization》②《nonlinear programming》

根据上面原问题和对偶问题的以及定理可知有以下条件





老师这里讲的凹凸函数和高数中的相反

为了符合原问题的形式，将以上最小值和限制条件修改成：


对向量求偏导的定义






对KKT条件进行翻译：



5.支持向量机的应用——兵王问题







轮番测试，共五个
①训练样本不做测试②尽量应用训练样本
最多5000-fold，也叫leave one out









6.ROC曲线(Receiver Operating Characteristic Curve)
基于上述两个条件，探讨评价识别系统性能的另一个指标ROC曲线，横坐标为FP，纵坐标为TP。


这里基于ROC引出判断系统性能的另外两个指标
（1）AUC(AREA UNDER CURVE)：ROC曲线下方形状的面积，该指标越大则系统性能越好。

（2）等错误率EER(EQUAL EEROR RATE):(0,1)与(1,0)连一条直线，交ROC曲线于一点，其横坐标为EER。可证明在EER处两类错误FP和FN相等，EER越低，系统性能越好。

本章所学的判断识别系统的性能度量指标有：混淆矩阵，ROC曲线，AUC和EER，这些都比识别率更客观公平。

7.支持向量机—多类问题
SVM有三种方式处理多类问题，即类别大于2的问题：
（1）改造优化的目标函数和限制条件，使之能处理多类
（2）一类VS其他类

但会导致样本类别数量不平衡
（3）一类VS另一类

采用投票方式

但会出现平票情况，解决方法，使用分数比较





类别1计算结果最高，所以最终结果为类别1

若K很大，则训练和测试时间长。因此综合：一类VS其他类 以及 一类VS另一类，做成树状图：

但要保证每个分类器区分的两类差别是显著的。
使用聚类和决策树算法来实现。


支持向量机将分类问题转换成凸优化问题

测试

1单选
对于在原空间中线性不可分的问题，支持向量机（）
A. 利用核函数把数据映射到高维空间
B. 在原空间中寻找非线性函数划分数据
C. 在原空间中寻找线性函数划分数据
D. 无法处理
正确答案：A

2单选
混淆矩阵中FN（False Negative）的含义是（）
A. 将正样本识别为正样本的数量（或概率）
B. 将负样本识别为正样本的数量（或概率）
C. 将正样本识别为负样本的数量（或概率）
D. 将负样本识别为负样本的数量（或概率）
正确答案：C

3单选
利用混淆矩阵计算识别率的公式是（）
A. TP/（TP+FN）
B.（TP+TN）/（TP+TN+FP+FN）
C. 都不对
D. TP/（TP+FP）
正确答案：B

4判断
支持向量机只能解决数据线性可分的问题。
A.√
B.×
正确答案：B

5判断
人为改变支持向量机的阈值可以同时增大TP、FP，从而提升算法的性能。
A.√
B.×
正确答案：B

6判断
一个凸优化问题可以有多个极值点
A.×
B.√
正确答案：A

7判断
支持向量机不会受到噪声的影响
A.×
B.√
正确答案：A

啥也不会