【花书】svm作业

支持向量机 与 LDA

1.jpg

2.jpg

2.从最优化理论的角度解释为什么存在支撑向量
3.为什么svm核函数不需要知道核函数的具体形式，只要知道内积的表达式
4.自己独立推导svm算法
5.查资料说明svm的优缺点
6.说出lda与pca的区别

---

3.jpg

其中标红点为支持向量

iii 线性硬间隔支持向量机

写作 解释:为样本类别

对于分类正确的正样本 且

对于分类正确的负样本 且

iv 当训练集数据满足什么样的要求时存在一个可行的W

能够正确划分训练数据集并且几何间隔最大。间隔最大化：不仅将正负实例点分开，而且对最难分离的实例点也有足够大的确信度将他们分开

V 推导超平面之间的距离的表达式

（0，0）点到 距离计算公式

到 距离计算公式

所以：距离为

vi 写出对应硬间隔支持向量机的优化问题表达式

vii 对于数据点及其标签，正确的是决策函数是以下

matrix([[ 1.1], [ 1.6], [-1.1]])

matrix([[ 1. ], [ 1.2], [-1. ]]) 正分类最小值为1 负分类最大值为-1，且相加值最小

matrix([[ 0.9], [ 0.8], [-0.9]])

matrix([[ 0.6], [ 1.6], [-1. ]])

解得

2.从最优化理论的角度解释为什么存在支持向量

最小化，在KKT条件的约束下，若满组情况下，必然有，不然不能取得最小值，其取值可以取到正无穷，此处的点就是支持向量

3.为什么svm核函数不需要知道核函数的具体形式，只要知道内积的表达式

利用核函数对现在空间进行变换

高斯核函数

其对偶问题最后可求解，都是计算点积

4.独立推导SVM算法

5.说出lda与pca的区别

PCA最小重构误差，使得投影后的值与原来的值尽量接近，属于非监督学习

LDA最大化类间距离，使得投影后不同类别样本尽量分开，属于监督学习