《统计学习方法》部分课后习题解答

习题3.2

利用例题3.2构造的kd树求出点$x=(3,4.5{)}^T$的最近邻点

1. 从根节点出发，因为$x^{(1)}<7$, 所以进入左孩子一侧，又因为$x^{(2)}>4.5$，所以选定叶节点$(4,7)$作为“当前最近点”，开始递归。
2. 向上回退到$(4,7)$的父节点$(5,4)$，设其为当前节点，因为父节点离$x$更近一些，所以更新"当前最近点"为$(5,4)$。
3. 因为父节点$(5,4)$生成的超平面$x^{(2)}=4$ 与以$x=（3，4.5）$为圆心，以$\frac{\sqrt{17}}{2}$为半径的圆有交点，所以还需要判断当前节点的左孩子$(2,3)$是不是更近。
4. 因为左子树中只有一个节点，所以可以直接判断得知，需要更新“当前最近点”为$(2,3)$，此时距离为$\frac{\sqrt{13}}{2}$，然后回到父节点$(5,4)$，把当前节点设为更高一层的$(7,2)$。
5. 因为$(7,2)$更远，所以不更新“当前最近点”。
6. 因为$(7,2)$形成的超平面$x^{(1)}=7$与以$(2,3)$为圆心，以$\frac{\sqrt{13}}{2}$为半径的圆没有交点，所以当前节点的右子树不用进行检测。
7. 因为$(7,2)$已经是根节点了，所以结束搜索，得到最近邻点是$(2,3)$。

习题3.3

参照算法3.3，写出输出为x的k近邻的算法

令算法3.3得到的函数为
$$approx\_node=NN(kd\_tree,node)$$
即输入一个kd树以及目标点$x$，就会输出一个最近的节点$approx\_node$，此外还需要调用之前的算法3.2来构造kd树，
$$tree=kd\_tree(dataset)$$
下面就用这两个函数，写出能得到k个最近的节点的函数$KNN$，

#输入：目标点x，最近邻的数量k，数据集T
#输出：k个T中的节点
def KNN(dataset T, int k, node x):
	node_list = []
	tree = kd_tree(T)
	for i in range(1,k+1):
		approx_node = NN(tree)
		node_list.append(approx_node)
		if node.depth != 1:
			tree.approx_node.x[1] = inf
   	else: 
   		tree.approx_node.x[2] = inf
	return node_list

这个函数的想法就是重复调用k次$NN$函数，因为重新建立kd树的计算复杂度为$O(N)$，而每次查找的平均计算复杂度仅为$O(\log N)$，所以为了不重新建树，需要更改树本身的结构来代替，方法是每次找到的最近邻点加入到一个待输出的列表中，然后更改最近邻点的坐标，使其距离目标点充分远，不会影响下一次最近邻点的选择。

习题4.1

用极大似然估计法，推出朴素贝叶斯法中的概率估计公式$(4.8)$以及公式$(4.9)$

证明公式$(4.8)$：

假设先验概率为
$$p=P(Y=c_k)$$
一共经抽样得到$n$个样本点，每次抽样的结果是独立同分布的，分别为$y_1,y_2,\cdots ,y_n$其中符合$y=c_k$的样本点有$m$个，那么根据二项分布，可以求得似然概率为
$$P(y_1,\cdots ,y_n)=p^m\cdot (1-p{)}^{n-m}$$
为了要让$P(y_1,\cdots ,y_n)$的值最大，需要对$p$求导，得到下式
$$\begin{gathered} \frac{dP}{dp}=m{p}^{m-1}(1-p{)}^{n-m}-(n-m)p^m(1-p{)}^{n-m-1} \\ =p^{m-1}(1-p{)}^{n-m-1}(m-np) \end{gathered}$$
所以当$p=\frac{m}{n}$时，函数取得最大值，因为
$$m=\sum _{i=1}^{n}I(y_i=c_k)=p[\sum _{i=1}^{n}I(y_i\ne c_k)+\sum _{i=1}^{n}I(y_i=c_k)]=pn$$
所以
$$P(Y=c_k)=p=\frac{{\sum }_{i=1}^{n}I(y=c_k)}{n}$$

证明公式$(4.9)$：

假设条件概率为
$$p=P(X^{(j)}=a_{jl}|Y=c_k)$$
一共经抽样得到$N$个样本点，分别为$x_1,x_2,\cdots ,x_N$，对应的输出分别为$y_1,y_2,\cdots ,y_N$，其中符合条件$Y=c_k$的样本点有$n$个，那么$n$可以用如下等式表示
$$n=\sum _{i=1}^{N}I(x_i)$$
假设它们第$j$个分量是独立同分布的，上述$n$个样本点中一共有$m$个满足$X^{(j)}=a_{jl}$，那么根据二项分布，可以求得事件$(X^{(j)}=a_{jl}|Y=c_k)$似然概率为
$$P(y_1,\cdots ,y_N)=p^m\cdot (1-p{)}^{n-m}$$
为了要让$P(y_1,\cdots ,y_n)$的值最大，需要对$p$求导，得到下式
$$\begin{gathered} \frac{dP}{dp}=m{p}^{m-1}(1-p{)}^{n-m}-(n-m)p^m(1-p{)}^{n-m-1} \\ =p^{m-1}(1-p{)}^{n-m-1}(m-np) \end{gathered}$$
所以当$p=\frac{m}{n}$时，函数取得最大值，又因为
$$m=\sum _{i=1}^{N}I(y_i=c_k)=p(\sum _{i=1}^{N}I(y_i=c_k)+\sum _{i=1}^{N}I(y_i\ne c_k))=pN$$
所以
$$P(X^{(j)}=a_{jl}|Y=c_k)=p=\frac{{\sum }_{i=1}^{N}I(x_i^j=a_{jl},y_i=c_k)}{{\sum }_{i=1}^{N}I(y_i=c_k)}$$

习题5.1

根据表5.1所给的训练数据集，利用信息增益比(C4.5算法)生成决策树

首先分别以$A_1$，$A_2$，$A_3$，$A_4$，表示年龄，有工作，有房子，信贷情况，整个数据集记为$D$

第一轮

根据定义5.3, 可以计算出数据集$D$关于每个特征$A$的值的熵
$$\begin{gathered} H_{A_1}(D)=1.584 \\ {H}_{A_2}(D)=0.918 \\ {H}_{A_3}(D)=0.971 \\ {H}_{A_4}(D)=1.566 \end{gathered}$$
然后再根据例5.2得到的如下信息增益，
$$\begin{gathered} g(D,A_1)=0.083 \\ g(D,A_2)=0.324 \\ g(D,A_3)=0.420 \\ g(D,A_4)=0.363 \end{gathered}$$
从而得到关于每个特征的信息增益比
$$\begin{gathered} g_R(D,A_1)=0.052 \\ {g}_R(D,A_2)=0.353 \\ {g}_R(D,A_3)=0.433 \\ {g}_R(D,A_4)=0.232 \end{gathered}$$
从而选择$A_3$作为根节点，令所有满足$A_3=yes$的数据为$D_1$，令所有满足$A_3=no$的数据为$D_2$，因为$D_1$中所有的数据均属于同一类，所以不用继续递归了，而$D_2$中数据不是同一类，所以需要第二轮递归再进一步分类。

第二轮

再来计算数据集$D_2$关于其余每个特征的$A$的值的熵
$$\begin{gathered} H_{A_1}(D_2)=1.530 \\ {H}_{A_2}(D_2)=0.918 \\ {H}_{A_4}(D_2)=0.340 \end{gathered}$$
再计算信息增益
$$\begin{gathered} g(D_2,A_1)=0.251 \\ g(D_2,A_2)=0.918 \\ g(D_2,A_4)=0.474 \end{gathered}$$
从而得到关于每个特征的信息增益比
$$\begin{gathered} g_R(D_2,A_1)=0.164 \\ {g}_R(D_2,A_2)=1.000 \\ {g}_R(D_2,A_4)=0.340 \end{gathered}$$
选择信息增益比最大的特征$A2$作为节点的特征，发现两个分支形成的数据集$D_{21}$和$D_{22}$里的元素都属于同一类别，所以递归结束。

最终结果

yes

no

yes

no

有房子

yes

有工作

yes

no

习题5.2

已知如下表所示的训练数据，试用平方误差损失准则生成一个二叉回归树

$x_1$	$x_2$	$x_3$	$x_4$	$x_5$	$x_6$	$x_7$	$x_8$	$x_9$	$x_{10}$
4.50	4.75	4.91	5.34	5.80	7.05	7.90	8.23	8.70	9.00

因为数据集的输入变量$x_i$是标量，所以直接扫描切分点，把样本点递归分成若干区间，具体的分化情况如下图所示

x<= 5.8

x > 5.8

x<=4.91

x>4.91

x <= 8.23

x>8.23

x<=4.75

x>4.75

x<=5.34

x>5.34

x<=7.90

x>7.90

x<=8.70

x>8.70

x<=4.50

x>4.50

x<=7.05

x>7.05

4.50,4.75,4.91,5.34,5.80,7.05,7.90,8.23,8.70,9.00

4.50,4.75,4.91,5.34,5.80

7.05,7.90,8.23,8.70,9.00

4.50,4.75,4.91

5.34,5.80

7.05,7.90,8.23

8.70,9.00

4.50,4.75

4.91

5.34

5.80

7.05,7.90

8,23

8.70

9.00

4.50

4.75

7.05

7.90

习题5.3

证明CART剪枝算法中，当$\alpha$确定时，存在唯一的最小子树$T_{\alpha }$使损失函数$C_{\alpha }(T)$最小

先证明存在性：

因为给定的数据集通过算法得到的生成树是确定的，所以所有可能的子树数量是有限的，所以一定存在若干子树，使得损失函数$C_{\alpha }(T)$是其中最小的，存在性得证

再证明唯一性：

在$\alpha$确定的情况下，假设存在两棵不同的$T$的子树$P$和$Q$，使得损失函数均是最小的，即
$$C_{\alpha }(P)=C_{\alpha }(Q)$$
首先证明：根据CART剪枝算法的规则，$P$和$Q$至少各有一处叶结点互不相同。

假设命题不成立，那么$P$和$Q$存在了包含关系，不妨设对于叶结点$t$，有$t\in P$但是$t\notin Q$，这是不可能的，因为选择剪枝的时候，需要满足
$$C_{\alpha }(T_t)<C_{\alpha }(t)$$
从而不满足损失函数相等的条件，假设不成立。

再来证明：在$P$和$Q$至少各有一处叶结点互不相同的情况下，两棵子树均不是最优的。

假设$P$中有结点$p$满足$p\notin Q$，并且$Q$中有结点$q$满足$q\notin P$，那么根据剪枝的规则，可得
$$\begin{gathered} C_{\alpha }(T_p)>C_{\alpha }(p) \\ {C}_{\alpha }(T_q)>C_{\alpha }(q) \end{gathered}$$
否则剪枝不会发生，所以存在$T$的子树$M$满足$q\notin M$并且其余叶结点与$P$一样，那么$M$比$P$的损失函数更小，从而也比$Q$的损失函数更小，假设不成立，从而原命题得证。

习题6.2

写出逻辑斯蒂回归模型学习的梯度下降算法

假设给定的数据集为$X=\{x^{(1)},x^{(2)},\cdots ,x^{(m)}\}$，对应的标签为$Y=\{y^{(1)},y^{(2)},\cdots ,y^{(m)}\}$，

其中$x^{(i)}=(x_1^{(i)},\cdots ,x_{n-1}^{(i)},1)\in R^n$，$y^{(i)}\in \{0,1\}$，特别需要说明的是，这里把常数项放到了数据集里，所以最后一个分量都是$1$，需要学习的参数记为$\omega =({\omega }_1,{\omega }_2,\cdots ,{\omega }_n)$。根据书本第93页的推导可知，对数似然函数为
$$L(\omega )=\sum _{i=1}^m[y^{(i)}(\omega \cdot x^{(i)})-\log (1+\exp (\omega \cdot x^{(i)}))]$$
需要对$L(\omega )$求偏导数
$$\nabla L(\omega )=(\frac{\partial L}{\partial {\omega }_1},\cdots ,\frac{\partial L}{\partial {\omega }_n})$$
其中
$$\frac{\partial L}{\partial {\omega }_i}=x_i^{(i)}y-\frac{{\omega }_i\exp \{w_1{x}_1^{(i)}+\cdots +w_n{x}_n^{(i)}\}}{1+\exp \{w_1{x}_1^{(i)}+\cdots +w_n{x}_n^{(i)}\}}$$

从而通过设置步长$\alpha$，终止迭代阈值eps，可以设计如下算法

• 设定迭代起点$x$初值
• 根据上面写出来的公式，得到对应位置的梯度值$\omega$
• 根据迭代步长算出新的梯度算出下个迭代点$x=x+\alpha \omega$
• 判断$\alpha |\omega |<eps$是否成立，成立则结束，否则返回第二步

习题7.1

比较感知机的对偶形式与线性可分支持向量机的对偶形式。

对于给定的数据集
$$T=\{(x_1,y_1),(x_2,y_2),\cdots ,(x_N,y_N)\}$$
其中$x_i\in R^n,y_i\in \{-1,1\}$，$i=1,2,\cdots ,N$，最后学习到的平面
$$\omega \cdot x+b=0$$
的参数，在两个算法的对偶形式中，有如下不同的计算方法：

感知机的对偶形式
$$\begin{gathered} \omega =\sum _{i=1}^N{\alpha }_i{y}_i{x}_i \\ b=\sum _{i=1}^N{\alpha }_i{y}_i \end{gathered}$$
其中的$\alpha =({\alpha }_1,\cdots ,{\alpha }_N)$，对于$\forall i\in \{1,2,\cdots ,N\}$，都有
$$y_i(\sum _{j=1}^N{\alpha }_i{y}_j{x}_j\cdot x_i+b)\le 0$$
线性可分支持向量机的对偶形式
$$\begin{gathered} \omega =\sum _{i=1}^N{\alpha }_i{y}_i{x}_i \\ b=y_1-\sum _{i=1}^N{\alpha }_i{y}_1(x_i\cdot x_j) \end{gathered}$$
其中的$\alpha =({\alpha }_1,\cdots ,{\alpha }_N)$是通过求解
$$\underset{\alpha }{\mathrm{argmin}}(\frac{1}{2}\sum _{i=1}^N\sum _{j=1}^N{\alpha }_i{\alpha }_j{y}_i{y}_j(x_i\cdot x_j)-\sum _{i=1}^N{\alpha }_i)$$
得到的，还要满足额外的约束条件$a_i\ge 0$，$\forall i\in \{1,\cdots ,N\}$，并且
$$\sum _{i=1}^N{\alpha }_i{y}_i=0$$

习题7.2

已知正例点$x_1=(1,2{)}^T$，$x_2=(2,3{)}^T$，$x_3=(3,3{)}^T$，负例点$x_4=(2,1{)}^T$，$x_5=(3,2{)}^T$，试求最大间隔分离超平面和分类决策函数，并在图上画出分离超平面，间隔边界及支持向量。

按照最大间隔法，根据训练数据集构造约束最优化问题：
$$\underset{\omega ,b}{\min }\frac{{\omega }_1^2+{\omega }_2^2}{2}$$
使得
$$\begin{gathered} {\omega }_1+2{\omega }_2+b\ge 1 \\ 2{\omega }_1+3{\omega }_2+b\ge 1 \\ 3{\omega }_1+3{\omega }_2+b\ge 1 \\ -2{\omega }_1-{\omega }_2-b\ge 1 \\ -3{\omega }_1-2{\omega }_2-b\ge 1 \end{gathered}$$

计算得当$\omega =(1,-2)$，$b=2$时，目标函数取到最小值，所得的超平面为
$$x-2y+2=0$$
即为下图中的实线，位于边界上的点是支持向量

习题7.3

线性支持向量机还可以定义为以下形式：
$$\underset{\omega ,b,\xi }{\min }\frac{||\omega ||}{2}+C\sum _{i=1}^N{\xi }_i^2$$
使得
$$\begin{gathered} y_i(\omega \cdot x_i+b)\ge 1-{\xi }_i,i=1,2,\cdots ,N \\ {\xi }_i\ge 0,i=1,2,\cdots ,N \end{gathered}$$
试求其对偶形式。

定义拉格朗日函数
$$L(w,b,\xi ,\alpha ,\beta )=\frac{\Vert w{\Vert }^2}{2}+C\sum _{i=1}^N{\xi }_i^2+\sum _{i=1}^N{\alpha }_i(1-{\xi }_i-y_i(w\cdot x_i+b))-\sum _{i=1}^N{\beta }_i{\xi }_i$$

分别对$w,b,\xi$求偏导数
$$\{\begin{array}{l}{\nabla }_{\xi }L=2C{\xi }_i-{\alpha }_i-{\beta }_i=0\\ {\nabla }_{w}L=w-\sum _{i=1}^N{\alpha }_i{y}_i{x}_i=0\\ {\nabla }_{b}L=-\sum _{i=1}^N{\alpha }_i{y}_i=0\end{array}$$
从而可以化简为
$$\{\begin{array}{l}{\xi }_i=\frac{1}{2C}({\alpha }_i+{\beta }_i)\\ \sum _{i=1}^N{\alpha }_i{y}_i=0\\ w=\sum _{i=1}^N{\alpha }_i{y}_i{x}_i\end{array}$$
解得对拉格朗日函数中的$\omega$和$\xi$做变量替换，得到新的形式
$$L(\alpha ,\beta )=-\frac{1}{2}\sum _{i=1}^N\sum _{j=1}^N{\alpha }_i{\alpha }_j{y}_i{y}_j(x_i\cdot x_j)+\sum _{i=1}^N{\alpha }_i-\frac{1}{4C}\sum _{i=1}^N({\alpha }_i+{\beta }_i{)}^2$$
那么对偶问题就是求解
$$\underset{\alpha ,\beta }{\mathrm{argmin}}L(\alpha ,\beta )$$
还要满足额外的约束条件$a_i\ge 0$，$\forall i\in \{1,\cdots ,N\}$，并且
$$\sum _{i=1}^N{\alpha }_i{y}_i=0$$

习题7.4

证明内积的正整数幂函数：
$$K(x,z)=(x\cdot z{)}^p$$
是正定核函数，这里$p$是正整数，$x,z\in {\mathbb{R}}^n$

用数学归纳法证明：对于$\forall \alpha =({\alpha }_1,\cdots ,{\alpha }_n{)}^T$，

当$p=1$时，因为${\alpha }^T(x\cdot x)\alpha \ge 0$，当且仅当$\alpha =0$取等号，根据定理7.5，结论显然成立，

当$p=k$时，假设结论成立，即存在函数${\varphi }_k$使得
$$K(x,z)={\varphi }_k(x)\cdot {\varphi }_k(z)$$
那么当$p=k+1$时，
$$K(x,z)=(x\cdot z{)}^{k+1}={\varphi }_k(x){\varphi }_k(z)(x\cdot z)$$
令映射函数由以下形式变换得到
$${\varphi }_k(x)=(f_1(x),f_2(x),\cdots ,f_n(x){)}^T$$
那么构造
$${\varphi }_{k+1}(x)=(x_1{f}_1(x),x_2{f}_2(x),\cdots ,x_n{f}_n(x){)}^T$$
其中
$$x=(x_1,x_2,\cdots ,x_n{)}^T$$
于是就有
$$K(x,z)={\varphi }_{k+1}(x)\cdot {\varphi }_{k+1}(z)$$
从而当$p=k+1$时，结论也成立，命题得证

习题8.1

某公司招聘职员考察身体、业务能力、发展潜力这3项。身体分为合格0、不合格1两级，业务能力和发展潜力分为上1、中2、下3三级。分类为合格1、不合格-1两类。已知10个人的数据，如下表所示

	1	2	3	4	5	6	7	8	9	10
身体	0	0	1	1	1	0	1	1	1	0
业务能力	1	3	2	1	2	1	1	1	3	2
发展潜力	3	1	2	3	3	2	2	1	1	1
分类	-1	-1	-1	-1	-1	-1	1	1	-1	-1

假设若分类器为决策树桩。用AdaBoost算法学习一个强分类器。

假设身体为$\mathcal{X}\in \{0,1\}$，业务能力为$\mathcal{Y}\in \{1,2,3\}$，发展潜力为$\mathcal{Z}\in \{1,2,3\}$，输入变量为
$$t=(t_1,t_2,t_3)\in (\mathcal{X},\mathcal{Y},\mathcal{Z})$$
有如下三个决策树桩：
$$\begin{gathered} G_1(t)=\{\begin{array}{rlr}1& ,& t_1=1\\ -1& ,& t_1=0\end{array} \\ {G}_2(t)=\{\begin{array}{rlr}1& ,& t_2=1\\ -1& ,& t_2\ne 1\end{array} \\ {G}_3(t)=\{\begin{array}{rlr}1& ,& t_3=1\\ -1& ,& t_3\ne 1\end{array} \end{gathered}$$
从而可以算出对应的分类误差率$e_1=0.4$，$e_2=0.3$，$e_3=0.3$，从而可以算出每个弱分类器的系数
$$\begin{gathered} {\alpha }_1=0.585 \\ {\alpha }_2=0.611 \\ {\alpha }_3=0.611 \end{gathered}$$
那么所得的强分类器为
$$G(t)=0.585G_1(t)+0.611G_2(t)+0.611G_3(t)$$
验证可知分类误差率$e=0.2$。

习题8.2

比较支持向量机、AdaBoost、逻辑斯蒂回归模型的学习策略与算法

• 支持向量机
  学习策略：对于线性可分的数据集，求解目标超平面，让此超平面能正确分类所有样本点，并且离最近样本点的距离是所有超平面中最小的；对于线性不可分的数据集，给每一组数据加上一个松弛变量，在这个宽松的意义下，求解超平面让此超平面能正确分类所有样本点，让平面系数向量的模和宽松系数向量的模达到最小值。两个算法都是通过求解拉格朗日对偶问题求解的。

  学习算法：序列最小最优化算法，对于给定的数据集$T$、精度$ϵ$、核函数$K$，目标是求对偶问题的解$\alpha$，算法具体是先将$\alpha$初始化为$0$，然后只选择两个变量，固定其余变量，求得最优解并更新$\alpha$，检验停机条件在$ϵ$的误差范围内是否成立，不成立重新选两个变量进行循环，成立就结束循环，通过$\alpha$得到超平面参数$\omega$、$b$。

• AdaBoost
  学习策略：极小化加法模型指数损失，提高前一轮分类器错误分类的样本权重，同时降低错误率高的分类器权重，进而将所有若分类器乘以对应的权重做线性组合，输出结果。

  学习算法：前向分步加法算法，对于给定的数据集合$T$以及基函数集$\{b(\gamma ,x)\}$，先初始化一个分类函数，然后通过极小化损失函数得到新的参数，加到之前一轮的函数上，如此循环若干次，把同时求解所有参数转化成逐个求解，每次求出当前意义下最优化的参数。

• Logistic回归
  学习策略：Logistic回归模型是以似然函数为目标的最优化问题，通过迭代算法求解，学习到的最优模型应该是所有可能概率模型中，熵最大的那个。
  学习算法：改进的迭代尺度算法，思想是假设最大熵模型当前的参数向量是$\omega$，然后找到一个参数$\delta$，使得模型的对数似然函数增大，持续循环直到找到最大值。