周志华《机器学习》读书笔记与习题答案（持续更新）

9 章

• 9.1：$p\ge 1$ 时，闵可夫斯基距离满足距离度量的证明；

  已知闵可夫斯基距离的定义： $\text{dist}({\mathbf{x}}_i,{\mathbf{x}}_j)={\left({\sum }_{u=1}^n|x_{iu}-x_{ju}{|}^p\right)}^{1/p}$，易证非负，对称，主要证明其三角不等式特性：

  证明如下：

  根据闵可夫斯基不等式（${\left({\sum }_{u=1}^n|x_{iu}+x_{ju}{|}^p\right)}^{1/p}\le {\left({\sum }_{u=1}^n|x_{iu}{|}^p\right)}^{1/p}+{\left({\sum }_{u=1}^n|x_{ju}{|}^p\right)}^{1/p}$），则
  $$\begin{array}{ll}\text{dist}({\mathbf{x}}_i,{\mathbf{x}}_j)& ={\left({\sum }_{u=1}^n|x_{iu}-x_{ju}{|}^p\right)}^{1/p}\\ & ={\left({\sum }_{u=1}^n|x_{iu}-x_{ku}+x_{ku}-x_{ju}{|}^p\right)}^{1/p}\\ & \le {\left({\sum }_{u=1}^n|x_{iu}-x_{ku}{|}^p\right)}^{1/p}+{\left({\sum }_{u=1}^n|x_{ku}-x_{ju}{|}^p\right)}^{1/p}\\ & =\text{dist}({\mathbf{x}}_i,{\mathbf{x}}_k)+\text{dist}({\mathbf{x}}_k,{\mathbf{x}}_j)\end{array}$$

  注闵可夫斯基不等式 $p=2$ 时的证明：

  $${\left(\sum _{u=1}^n|x_{iu}+x_{ju}{|}^2\right)}^{1/2}\le {\left(\sum _{u=1}^n|x_{iu}{|}^2\right)}^{1/2}+{\left(\sum _{u=1}^n|x_{ju}{|}^2\right)}^{1/2}$$
  两边同时平方得：

$$\left(\sum _{u=1}^n|x_{iu}{|}^2\right)+\left(\sum _{u=1}^n|x_{ju}{|}^2\right)+2\sum _u|x_{iu}||x_{ju}|\le \left(\sum _{u=1}^n|x_{iu}{|}^2\right)+\left(\sum _{u=1}^n|x_{ju}{|}^2\right)+2\sqrt{\left(\sum _{u=1}^n|x_{iu}{|}^2\right)}\sqrt{\left(\sum _{u=1}^n|x_{ju}{|}^2\right)}$$
显然成立。

11章

• 11.8：${\mathbf{x}}_{k+1}=\arg {\min }_{\mathbf{x}}\frac{L}{2}\Vert \mathbf{x}-\mathbf{z}{\Vert }_2^2+\lambda \Vert \mathbf{x}{\Vert }_1$

  对等式右侧按分量展开得：$\frac{L}{2}{\sum }_i(x^i-z^i{)}^2+\lambda {\sum }_i|x^i|$（$x^i$ 表示 $\mathbf{x}$ 的第 $i$ 个分量），其对 $x^i$ 的偏导为：

  $x^i>0$ 时，$(x^i-z^i)\cdot L+\lambda =0$，得 $x^i=-\frac{\lambda }{L}+z^i$，结合条件 $x^i>0$才得到这样的结论，因此有：$z^i>\frac{\lambda }{L}$
  同样地，$x^i<0$ 时，$(x^i-z^i)\cdot L-\lambda =0$，得 $x^i=\frac{\lambda }{L}+z^i$，结合条件 $x^i<0$才得到这样的结论，因此有：$z^i<-\frac{\lambda }{L}$