《统计学习方法》第7章 课后题答案

最近在补一些机器学习的基础知识，所以就刷了一下李航博士的《统计学习方法》。那么刷一本书怎么才能彻底呢，当然是刷题了。幸好作者在每一章留有课后题，在这里尝试做一下。

（一想到这部分内容可能会被完爆我好几条街的大神看到就觉得好害羞 ⁄(⁄ ⁄•⁄ω⁄•⁄ ⁄)⁄。个人水平有限，望大神指正）

---

在做题之前先吐槽一下第7章的内容，本章介绍了支持向量机的相关知识，内容安排合理，讲解清楚，是很棒的入门材料。不过在刷书的过程中遇到了一些小疑问，我准备把这些小疑问和大家分享一下。有些通过查文献找到了答案，有些还没有解决，希望路过的大神指点。

1、P104在推导拉格朗日函数$L(w,b,\alpha )$极小值的过程中，如何确定所求得的极值点（导数等于0的点）就是$L(w,b,\alpha )$的极小值而不是极大值呢？是否可以证明一下其所对应的二次型在这一情况下只能取极小值？

2、p120式7.82下面那句话如果严格说来应该是“对于不完备的赋范向量空间$S$，一定可以找到一个完备的赋范向量空间$H$，使得$S$在$H$中稠密”

3、P130式7.116下面那段话，原文的意思是如果$0<{\alpha }_i^{\text{new}}<C$，那么$b_1^{\text{new}}=b_2^{\text{new}}$。我尝试证明一下这但是死活搞不出来。后来转念一想，P112最下面的部分不是已经说明了$b$的值不唯一么。为什么这里就变成$b_1^{\text{new}}=b_2^{\text{new}}$一定成立了呢？

后来经过查阅Platt的原始文献"Fast training of support vector machines using sequential minimal optimization"发现原文中是这么说的：“when $b_1$ and $b_2$ are vaild, they are equal”（$b_1,b_2$是原作者使用的记号，也就相当于$b_1^{\text{new}},b_2^{\text{new}}$）。所以我觉得原文中的内容是不是这个意思：“如果$b_1^{\text{new}},b_2^{\text{new}}$都复合条件，那么用哪个作为最终结果都是一样的”。不知这部分理解是否正确，求大神指点。

4、P130在SMO算法中，应该在第一步也将$b$初始化为0

---

进入正题，下面的答案是我自己做的，有时候会偷懒╮(￣▽￣)╭，请见谅。

1.1 比较感知机的对偶形式与线性可分支持向量机的对偶形式。

这是一个开放问题，如何比较这两种模型的对偶形式呢。我思前想后决定首先把这两个对偶形式写出来：

给定一个训练数据集
$$T=\{(x_1,y_1),(x_2,y_2),\dots ,(x_N,y_N)\}$$
其中，$x_i\in \mathcal{X}=R^n,y_i\in \mathcal{Y}=\{-1,1\},i=1,2,\dots ,N$。

根据本书前面的内容：感知机学习算法是求参数$w,b$，使其为以下损失函数极小化问题的解：

$$\underset{w,b}{\min }L(w,b)=-\sum _{x_i\in M}{y}_i(w\cdot x_i+b)$$

其中$M$为误分类点的集合。上式称为感知机算法的原始形式，事实上， 如果使用P114页所介绍的$[\ast {]}_{+}$函数，可以将上述原始形式写为：

$$\underset{w,b}{\min }L(w,b)=\sum _{i=1}^N[-y_i(w\cdot x_i+b){]}_{+}$$

如果将$w,b$表示为实例$x_i$和标记$y_i$的线性组合的形式，即：

KaTeX parse error: No such environment: align at position 7: \begin{̲a̲l̲i̲g̲n̲}̲ w&=\sum_{j=1}^…

其中${\alpha }_j>0,j=1,2,\dots ,N$那么上述原始形式可以写为如下的对偶形式：

KaTeX parse error: No such environment: align at position 7: \begin{̲a̲l̲i̲g̲n̲}̲ \min_{w,b}L(w,…

事实上，上述最优化问题可以通过求$L(w,b)$关于$\alpha$的导数，然后使用梯度下降法得到。但是P34页所给出的求解步骤与此过程等价，并且也更简便。

相比之下，线性可分支持向量机的原始形式是求解$w,b$，使其为如下最优化问题的解：

KaTeX parse error: No such environment: align at position 7: \begin{̲a̲l̲i̲g̲n̲}̲\min_{w,b}\quad…

上述最优化问题的对偶问题为：

KaTeX parse error: No such environment: align at position 7: \begin{̲a̲l̲i̲g̲n̲}̲\min_\alpha \qu…

最终$w,b$的值可通过下式计算

KaTeX parse error: No such environment: align at position 7: \begin{̲a̲l̲i̲g̲n̲}̲w&=\sum_{i=1}^N…

可以看出，在线性可分支持向量机的对偶形式中，$w$也是被表示为实例$x_i$和标记$y_i$的线性组合的形式。

---

1.2 已知正例点$x_1=(1,2{)}^{\text{T}}$，$x_2=(2,3{)}^{\text{T}}$，$x_3=(3,3{)}^{\text{T}}$，负例点$x_4=(2,1{)}^{\text{T}}$，$x_5=(3,2{)}^{\text{T}}$，试求最大间隔分离超平面和分类决策函数，并在图上画出分离超平面、间隔边界及支持向量。

这个问题的解答就直接用书上给的步骤就好。这里直接用sklearn提供的包算一下结果：

from sklearn import svm
x=[[1, 2], [2, 3], [3, 3], [2, 1], [3, 2]]
y=[1, 1, 1, -1, -1]
clf = svm.SVC(kernel='linear',C=10000)
clf.fit(x, y)
print clf.coef_
print clf.intercept_

最终的结果是：

>>> [[-1  2]]
[-2]

然后可以使用matplotlib画图：

import matplotlib.pyplot as plt
import numpy as np
plt.scatter([i[0] for i in x], [i[1] for i in x], c=y)
xaxis = np.linspace(0, 3.5)
w = clf.coef_[0]
a = -w[0] / w[1]
y_sep = a * xaxis - (clf.intercept_[0]) / w[1]
b = clf.support_vectors_[0]
yy_down = a * xaxis + (b[1] - a * b[0])
b = clf.support_vectors_[-1]
yy_up = a * xaxis + (b[1] - a * b[0])
plt.plot(xaxis, y_sep, 'k-')
plt.plot(xaxis, yy_down, 'k--')
plt.plot(xaxis, yy_up, 'k--')
plt.scatter (clf.support_vectors_[:, 0], clf.support_vectors_[:, 1], s=150, facecolors='none', edgecolors='k')
plt.show()

---

1.3 线性支持向量机还可以定义为以下形式：
KaTeX parse error: No such environment: align at position 7: \begin{̲a̲l̲i̲g̲n̲}̲ \min_{w,b,\xi}…
试求其对偶形式。

解：
大部分过程与书上一样，可以仿照书中的步骤写出最优化问题所对应的拉格朗日函数：
$$L(w,b,\xi ,\alpha ,\mu )=\frac{1}{2}||w|{|}^2+C\sum _{i=1}^N{\xi }_i^2-\sum _{i=1}^N{\alpha }_i(y_i(w\cdot x_i+b)-1+{\xi }_i)-\sum _{i=1}^N{\mu }_i{\xi }_i$$
其中${\alpha }_i\ge 0,{\mu }_i\ge 0$.

对偶问题是拉格朗日函数的极大极小问题。首先求$L$对$w,b,\xi$的极小：

KaTeX parse error: No such environment: align at position 7: \begin{̲a̲l̲i̲g̲n̲}̲ \nabla_wL(w,b,…

把上述等式代入$L(w,b,\xi ,\alpha ,\mu )$的表达式中，得：
$$\underset{w,b,\xi }{\min }L(w,b,\xi ,\alpha ,\mu )=-\frac{1}{2}\sum _{i=1}^N\sum _{j=1}^N{\alpha }_i{\alpha }_j{y}_i{y}_j(x_i\cdot x_j)+\sum _{i=1}^N{\alpha }_i-\frac{1}{4C}\sum _{i=1}^N({\alpha }_i+{\mu }_i{)}^2$$

在对${\min }_{w,b,\xi }L(w,b,\xi ,\alpha ,\mu )$求$\alpha$的极大，即得对偶问题：
KaTeX parse error: No such environment: align at position 7: \begin{̲a̲l̲i̲g̲n̲}̲ \max_{\alpha, …

---

1.4 证明内积的正整数幂函数：
$$K(x,z)=(x\cdot z{)}^p$$
是正定核函数，这里$p$是正整数，$x,z\in R^n$.

证明：
首先定义映射$f:R^n\mapsto R^{n^p}$:
$$f([x_1,x_2,\dots ,x_n])=(x_{j_1},x_{j_2},\dots ,x_{j_p}|j_1,\dots ,j_p\in \{1,\dots ,n\})$$

举个栗子：如果$n=2$，$p=2$，那么有：
$$f([x_1,x_2])=(x_1^2,x_2^2,x_1{x}_2,x_2{x}_1)$$

注意$f$的定义式中各单项式$x_{j_1},x_{j_2},\dots ,x_{j_p}$是有序的，意思是我们认为$x_1{x}_2$和$x_2{x}_1$是不同的。

显然对于$\forall x,z\in R^n$，有：
$$K(x,z)=f(x)\cdot f(z)$$

所以对$\forall a_1,a_2,\dots ,a_n\in R$，$x_1, x_2, \dots, x_n \in R^n $有：
KaTeX parse error: No such environment: align at position 7: \begin{̲a̲l̲i̲g̲n̲}̲ \sum_{i,j=1}^n…

所以可证$K(x,z)=(x\cdot z{)}^p$是正定核函数。

ps：写证明还是用笔和纸方便，两分钟写好的内容码上来可费劲了。小抱怨一下。