【第一章】《Pattern Recognition and Machine Learning》模式识别与机器学习—绪论

本专题为《Pattern Recognition and Machine Learning》(作者：Bishop)系列学习笔记，对于书中的内容不会全部涉及到。(目录后的页码为对应内容在书中的页码)，有需要电子版书的我把链接放在最后了。

最小平方回归 Least-Squares Regression

提出问题： 已知一个房屋一段时间内的价格，怎样去预测它未来的价格？

解决办法：

(1) 数据建模：
$$y(\overline{x},w_0)=w_0$$（先采用最简单的模型——假设只有一个参数去表示全部的将要预测价格）
 用 $y_n$ 表示用该模型预测出来的价格。
(2) 误差函数：
$$E(w_0)=\frac{1}{2}\sum _{n=1}^N(w_0-t_n{)}^2$$
用最小平方来表示误差函数。其中，$t_n$是在 $n$ 时的真实价格，$N$是数据的总数。
(3) 优化（最小化）误差函数：
$$w_0^{\ast }={\arg \min }_{\{w_0\}}\frac{1}{2}\sum _{n=1}^N(w_0-t_n{)}^2$$  其中$\{w_0\}$是所有可能的 $w_0$ 的集合，$w^{\ast }$ 是 $w_0$ 的最佳估计值。
 误差函数是二次函数，故对其求导可求最值：
$$\begin{array}{rl}\frac{\partial E(w_0)}{\partial w_0}& =0\\ & =\frac{1}{2}\sum _n\frac{\partial (w_0-t_n{)}^2}{\partial w_0}\\ & =\sum _n(w_0-t_n{)}^2=0\\ 即：& \sum _n{w}_0=\sum _n{t}_n\\ & w_0=\frac{1}{N}\sum t_n\end{array}$$故 $w_0$ 是已知的所有价格的均值，如下图所示。

接下来用更合适的曲线进行拟合：

(1) 数据建模 (Data Modeling)：
$$\begin{array}{rl}& y(x_n,\overline{w})=x_n{w}_1+w_0\\ & 其中:\overline{w}=\left[\begin{array}{c}{w}_0\\ w_1\end{array}\right]\end{array}$$  采用线性模型，其中 $w_0,w_1$ 是模型参数。

(2) 误差函数 (Error Function)：
$$E(\overline{w})=\frac{1}{2}\sum _{n=1}^N(y(x_n,\overline{w})-t_n{)}^2$$
(3) 优化（最小化）误差函数 (Optimization \ Minimization)：
$${\overline{w}}^{\ast }={\arg \min }_{\{\overline{w}\}}E(\overline{w})$$
 误差函数是二次函数，故对其求导可求最值：
$$\begin{array}{rl}\frac{\partial E(\overline{w})}{\partial \overline{w}}& =0\\ ①\frac{\partial E(\overline{w})}{\partial w_0}=\sum _n(w_0+x_n{w}_1-t_n)=0& \\ w_0=\frac{1}{N}(\sum _n{t}_n-\sum _n{x}_n{w}_1)=0& \\ ②\frac{\partial E(\overline{w})}{\partial w_1}=\sum _n(w_0+x_n{w}_1-t_n)x_n=0& \\ w_1=\frac{{\sum }_n{t}_n{x}_n-w_0{x}_n}{{\sum }_n{x}_n^2}& \end{array}$$
两个方程解两个未知数，可解。

*多项式曲线拟合(P10)

提出问题：若是不能提前知道数据分布的形状应该怎么做呢？

解决办法：

(1) 数据建模 (Data Modeling)：
所有可能的函数类型：
$$horizontalline:y=w_0$$ $$linear:y=w_0+w_{1}x$$ $$quadratic:y=w_0+w_{1}x+w_2{x}^2$$ $$cubic:y=w_0+w_{1}x+w_2{x}^2+w_3{x}^3$$ $$\dots \dots$$
多项式曲线的一般形式：
$$y(x_n,\overline{w})=\sum _{m=0}^{M-1}{w}_m{x}_n^m$$ $$其中，\overline{w}=\left[\begin{array}{c}{w}_0\\ w_1\\ \dots \dots \\ w_{M-1}\end{array}\right]$$其大小为 $M\times 1$，$M$ 为模型复杂度。将其写成矢量形式$(Vectorform)$为：
$$y_n={\overline{w}}^T{\overline{x}}_n$$ $$其中，\overline{x_n}=\left[\begin{array}{c}{x}^0\\ x^1\\ \dots \dots \\ x^{M-1}\end{array}\right]$$ 其大小为 $M\times 1$，故 ${\overline{w}}^T$的大小为 $1\times M$，$\overline{x_n}$ 的大小为 $M\times 1$，故$y_n$ 的大小为 $1\times 1.$ 将其写成矩阵形式$(Matrixform)$为：
$$\overline{y}=\mathrm{X}\overline{w}$$ $$其中，\overline{y}=\left[\begin{array}{c}{y}_1\\ y_2\\ \dots \dots \\ y_M\end{array}\right];\mathrm{X}=\left[\begin{array}{ccc}{x}_1^0& \dots \dots & x_1^{M-1}\\ ⋮& \ddots & ⋮\\ x_N^0& \dots \dots & x_N^{M-1}\end{array}\right]$$ $\mathrm{X}$ 的大小为 $N\times M$, $\overline{w}$ 的大小为 $M\times 1$，故 $\overline{y}$ 的大小为 $N\times 1$.

(2) 误差函数 (Error Function)：
$$E(\overline{w})=\frac{1}{2}\sum _{n=1}^N(y_n-t_n{)}^2$$ $$矢量形式：E(\overline{w})=\frac{1}{2}(\overline{y}-\overline{t}{)}^T(\overline{y}-\overline{t})$$ $$其中，\overline{t}={\left[\begin{array}{cccc}{t}_1,& t_2,& \dots \dots & t_N\end{array}\right]}^T$$ 即，$\overline{t}$ 的大小为 $N\times 1$。

(3) 优化（最小化）误差函数 (Optimization \ Minimization)：
$${\overline{w}}^{\ast }={\arg \min }_{\{\overline{w}\}}E(\overline{w})={\arg \min }_{\{\overline{w}\}}\frac{1}{2}\sum _{n=1}^N({\overline{w}}^T\overline{x_n}-t_n{)}^2$$  误差函数是二次函数，故对其求导可求最值：
$$\begin{array}{rl}\frac{\partial E(\overline{w})}{\partial \overline{w}}& =0\\ & \frac{\partial [\frac{1}{2}{\sum }_{n=1}^N({\overline{w}}^T\overline{x_n}-t_n{)}^2]}{\partial \overline{w}}\\ & =\sum _n^N{\overline{x}}_n({\overline{w}}^T\overline{x_n}-t_n)=\sum _n^N{\overline{x}}_n({\overline{w}}^T\overline{x_n})-\sum _n^N{\overline{x}}_n{t}_n\end{array}$$ 将其写成矩阵形式为：
$$\begin{array}{rl}& \frac{\partial E(\overline{w})}{\partial \overline{w}}=\sum _n^N{\overline{x}}_n({\overline{w}}^T\overline{x_n})-\sum _n^N{\overline{x}}_n{t}_n\\ & ={\mathrm{X}}^T\mathrm{X}\overline{w}-{\mathrm{X}}^T\overline{t}=0\\ & {\mathrm{X}}^T\mathrm{X}\overline{w}={\mathrm{X}}^T\overline{t},故：\overline{w}=({\mathrm{X}}^T\mathrm{X}{)}^{-1}{\mathrm{X}}^T\overline{t}\\ & 最后写为：\overline{w}={\mathrm{X}}^{+}\overline{t}\end{array}$$ 即得到了解。