西瓜书习题 - 6.支持向量机
1.支持向量机基本型
1、对于线性可分的二分类任务样本集，将训练样本分开的超平面有很多，支持向量机试图寻找满足什么条件的超平面？
- 在正负类样本“正中间”的
- 靠近正类样本的
- 靠近负类样本的
- 以上说法都不对
2、下面关于支持向量机的说法错误的是？
- 支持向量机基本型是一个凸二次规划问题
- 将训练样本分开的超平面仅由支持向量决定
- 支持向量机的核心思想是最大化间隔
- 以上选项没有错的
3、两个异类支持向量到超平面的距离之和称之为____（两个字）
间隔
2.对偶问题与解的特性
1、下面哪一项不是支持向量机基本型得到对偶问题的求解步骤
- 引入拉格朗日乘子得到拉格朗日函数
- 对拉格朗日函数求偏导并令其为0
- 回带变量关系
- 梯度下降
2、下面关于支持向量机对偶问题的说法错误的是
- 对偶问题需要满足KKT条件
- 通过对偶问题推导出的模型表达式能够体现解的稀疏性
- 在推导对偶问题时，引入的拉格朗日乘子没有约束条件
- 对偶问题的最优值是原始问题最优值的下界
3、通过____可以得到支持向量机的对偶问题。（7个字，优化算法）
拉格朗日乘子法
3.求解方法
1、下面关于SMO算法说法正确的是
- 是一个迭代更新的算法
- 先选取KKT条件违背程度最大的变量
- 当变量固定后，原始问题具有闭式解
- 以上说法都是正确的
2、在求解支持向量机截距项的时候错误的说法是
- 通过任意支持向量都能够求解出截距项
- 为了提高鲁棒性，通常使用所有支持向量求解的平均值
- 通过任意样本都能够求解出截距项
- 截距项的求解能够体现支持向量机学习到的超平面仅与少量支持向量有关
3、在使用SMO方法优化支持向量机的对偶问题时，每次需要选择几个变量并固定其他变量不变。 ____（只需填写数字）
2
4.特征空间映射
1、如果不存在一个能正确划分两类样本的超平面，应该怎么办？
- 将样本从原始空间映射到一个更高维的特征空间，使样本在这个特征空间内线性可分
- 将样本从原始空间映射到一个更高维的特征空间，使样本在这个特征空间内线性不可分
- 将样本从原始空间映射到一个更低维的特征空间，使样本在这个特征空间内线性可分
- 将样本从原始空间映射到一个更低维的特征空间，使样本在这个特征空间内线性不可分
2、将样本映射到高维空间后，支持向量机问题的表达式为
- m i n w , b 1 2 ∣ ∣ w ∣ ∣ 2 s . t . y i ( w T ϕ ( x i ) + b ) > = 1 , i = 1 , 2 , 3 , . . . , m \mathbf{\underset{w,b}{min} \frac{1}{2} ||w||^2 \\ s.t. y_i(w^T \phi(x_i) +b) >= 1, i=1,2,3,...,m} w,bmin21∣∣w∣∣2s.t.yi(wTϕ(xi)+b)>=1,i=1,2,3,...,m
- m i n w , b 1 2 ∣ ∣ w ∣ ∣ 2 s . t . y i ( w T ϕ ( x i ) − b ) > = 1 , i = 1 , 2 , 3 , . . . , m \underset{w,b}{min} \frac{1}{2} ||w||^2 \\ s.t. y_i(w^T \phi(x_i) -b) >= 1, i=1,2,3,...,m w,bmin21∣∣w∣∣2s.t.yi(wTϕ(xi)−b)>=1,i=1,2,3,...,m
- m i n w , b 1 2 ∣ ∣ w ∣ ∣ 2 s . t . y i ( w T ϕ ( x i ) + b ) > = − 1 , i = 1 , 2 , 3 , . . . , m \underset{w,b}{min} \frac{1}{2} ||w||^2 \\ s.t. y_i(w^T \phi(x_i) +b) >= -1, i=1,2,3,...,m w,bmin21∣∣w∣∣2s.t.yi(wTϕ(xi)+b)>=−1,i=1,2,3,...,m
- m i n w , b 1 2 ∣ ∣ w ∣ ∣ 2 s . t . y i ( w T ϕ ( x i ) − b ) > = − 1 , i = 1 , 2 , 3 , . . . , m \underset{w,b}{min} \frac{1}{2} ||w||^2 \\ s.t. y_i(w^T \phi(x_i) -b) >= -1, i=1,2,3,...,m w,bmin21∣∣w∣∣2s.t.yi(wTϕ(xi)−b)>=−1,i=1,2,3,...,m
3、如果原始空间是有限维（属性数有限），那么____（一定/不一定）存在一个高维特征空间使样本线性可分。
一定
5.核函数
1、关于核函数 k ( x i , x j ) = ϕ ( x i ) T ϕ ( x j ) k(x_i, x_j)=\phi(x_i)^T\phi(x_j) k(xi,xj)=ϕ(xi)Tϕ(xj)的说法，正确的是：
- 能绕过显式考虑特征映射
- 能够缓解计算高维内积的困难
- 能够直接在原始的特征空间计算
- 以上说法都是正确的
2、若一个对称函数对于任意数据所对应的核矩阵_，则它就能作为核函数来使用
- 正定
- 半正定
- 负定
- 半负定
3、任何一个核函数，都隐式地定义了一个____（九个字）
再生核希尔伯特空间
6.如何使用SVM？
1、对于 ϵ \epsilon ϵ-不敏感损失函数，说法正确的是
- 当自变量的绝对值小于 ϵ \epsilon ϵ 时，没有惩罚
- 当自变量的绝对值小于 ϵ \epsilon ϵ 时，惩罚是线性的
- 当自变量的绝对值大于 ϵ \epsilon ϵ 时，没有惩罚
- 当自变量的绝对值大于 ϵ \epsilon ϵ 时，惩罚是二次的
2、下面关于支持向量回归，说法错误的是
- 间隔带两侧的松弛程度可有所不同
- 支持向量回归一般要求损失为0当且仅当模型的输出和实际值一样
- 支持向量回归也存在对偶问题
- 支持向量回归模型的解仍然具有稀疏性
3、对于2-不敏感损失，当自变量取值为10时，损失为____（保留整数）
8
7.章节测试
1、下列关于支持向量机的用法正确的是？
- 当数据是线性可分时，可以考虑支持向量机的基本型
- 当数据是线性不可分时，可以考虑引入核函数的支持向量机
- 若使用引入核函数的支持向量机，可以通过模型选择等技术挑选较为合适的核函数
- 以上说法都是正确的
2、下列哪一项是支持向量机基本型对偶问题的KKT条件？
- { α i > = 0 1 − y i f ( x i ) < = 0 α i ( 1 − y i f ( x i ) ) = 0 \color{red}{\left\{ \begin{aligned} \alpha_i >=0 & \\ 1-y_if(x_i) <=0 &\\ \alpha_i(1-y_if(x_i))=0 \end{aligned} \right.} ⎩ ⎨ ⎧αi>=01−yif(xi)<=0αi(1−yif(xi))=0
- { α i > = 0 1 − y i f ( x i ) < = 0 α i ( 1 − y i f ( x i ) ) > = 0 \left\{ \begin{aligned} \alpha_i >=0 & \\ 1-y_if(x_i) <=0 &\\ \alpha_i(1-y_if(x_i))>=0 \end{aligned} \right. ⎩ ⎨ ⎧αi>=01−yif(xi)<=0αi(1−yif(xi))>=0
- { α i > = 0 1 − y i f ( x i ) < = 0 α i ( 1 − y i f ( x i ) ) < = 0 \left\{ \begin{aligned} \alpha_i >=0 & \\ 1-y_if(x_i) <=0 &\\ \alpha_i(1-y_if(x_i))<=0 \end{aligned} \right. ⎩ ⎨ ⎧αi>=01−yif(xi)<=0αi(1−yif(xi))<=0
- 以上条件均不对
3、下面关于支持向量机的优化错误的是？
- 可以通过常规的优化计算包求解
- 可以通过SMO进行高效的求解
- 在使用SMO时需要先推导出支持向量机的对偶问题
- SMO需要迭代的进行求解，且每一步迭代的子问题不存在闭式解
4、考虑两个正例样本(0,0),(1,1)和两个负例样本(1,0),(0,1)，这四个样本是线性不可分的，通过下列哪一个映射函数可以让这四个样本线性可分？
- ( x , y ) → ( x , y , I ( x + y > 1 ) ) (x,y) \rightarrow (x,y,I(x+y>1)) (x,y)→(x,y,I(x+y>1))， [注： I ( x ) I(x) I(x)为示性函数，当自变量为真时取值为1，否则取值为0】
- ( x , y ) → ( x , y , I ( x + y < = 1 ) ) (x,y) \rightarrow (x,y,I(x+y<=1)) (x,y)→(x,y,I(x+y<=1))
- ( x , y ) → ( x , y , I ( x = y ) ) {(x,y) \rightarrow (x,y,I(x=y))} (x,y)→(x,y,I(x=y))
- 以上映射函数都满足条件
5、下面关于支持向量回归说法正确的是
- 当样本距离超平面的距离小于一定程度时，没有损失
- 解具有稀疏性
- 当样本距离超平面的距离大于一定程度时，有损失且损失随着距离线性增加
- 以上说法都是正确的
6、支持向量机的“间隔”定义为两个异类支持向量到超平面的距离之和 γ = 2 ∣ ∣ w ∣ ∣ \gamma = \frac{2}{||w||} γ=∣∣w∣∣2, 支持向量机的核心思想是____（最大化/最小化）间隔。
最大化
7、支持向量机对偶问题得到的目标函数最优值是原始问题目标函数最优值的____（上界/下界）
下界
8、考虑正类样本(-1,0),(0,1),(-1,1) 和负类样本(1,0),(0,-1),(1,-1)，若使用支持向量机算法，则其支持向量有____个。
4
9、支持向量机的解具有什么性质？____（三个字）
稀疏性
10、在求解支持向量机对偶问题时，引入的拉格朗日乘子____（有/没有）约束条件。
有
11、对于两个样本点(0,0),(1,1)，若我们将其投影到与高斯核函数 k ( x , y ) = e − ∣ ∣ x − y ∣ ∣ 2 k(x,y)=e^{-||x-y||^2} k(x,y)=e−∣∣x−y∣∣2关联的RKHS中时，则两个样本投影后的点距离为____（保留三位小数）
1.315
d i s t ( x 1 , x 2 ) = ∥ ϕ ( x 1 ) − ϕ ( x 2 ) ∥ H k 2 = k ( x 1 , x 1 ) − 2 k ( x 1 , x 2 ) + k ( x 2 , x 2 ) dist(x_1,x_2)=\|\phi(x_1)-\phi(x_2)\|_{\mathcal{H}_k}^2=\sqrt{k(x_1,x_1)-2k(x_1,x_2)+k(x_2,x_2)} dist(x1,x2)=∥ϕ(x1)−ϕ(x2)∥Hk2=k(x1,x1)−2k(x1,x2)+k(x2,x2)
12、试判断定义在 R N × R N R^N \times R^N RN×RN上的函数 k ( x , y ) = ( x T y + 1 ) 2 k(x,y)=(x^Ty+1)^2 k(x,y)=(xTy+1)2是否为核函数。____（是/否）
是
13、试判断定义在 R N × R N R^N \times R^N RN×RN上的函数 k ( x , y ) = ( x T y − 1 ) 2 k(x,y)=(x^Ty-1)^2 k(x,y)=(xTy−1)2是否为核函数。____（是/否）
否
14、对于支持向量机定义的超平面，下列说法错误的是
- 通过支持向量机求解出的划分超平面是对训练样本局部扰动的“容忍”性最好的划分超平面
- 对于所有可能的划分超平面，通过支持向量机求解出的划分超平面所产生的分类结果是较鲁棒的，是对未见示例的泛化能力较强的
- 支持向量机的“间隔”为 ∣ ∣ w ∣ ∣ ||w|| ∣∣w∣∣， 1 ∣ ∣ w ∣ ∣ \frac{1}{||w||} ∣∣w∣∣1表示向量的模
- 可以通过求解对偶问题的方法来求解支持向量机的最大间隔划分超平面
15、关于支持向量机基本型中间隔、支持向量和超平面wx+b=0的说法，下列说法正确的是
- 对于线性可分的训练样本，存在唯一的超平面将训练样本全部分类正确
- 对于线性可分的训练样本，支持向量机算法学习得到的能够将训练样本正确分类且具有“最大间隔”的超平面是存在并且唯一的
- 支持向量机训练完成后，最后的解与所有训练样本都有关
- 间隔只与w有关，与b无关