Bishop 模式识别与机器学习读书笔记_ch3.3 广义线性回归模型

ch3.3 广义线性回归模型

---

回归问题的目标是在给定 $D$ 维输入（input）变量 $\mathbf{x}$ 的情况下，预测⼀个或者多个连续目标（target）变量 $t$ 的值。线性回归模型（如多项式回归）是输入变量的线性函数，有着可调节的参数，具有线性函数的性质。但是，通过将⼀组输入变量的非线性函数进行线性组合，我们可以获得⼀类更加有用的函数，被称为基函数（basis function）。

**注释：**这样的模型是参数的线性函数，这使得其具有⼀些简单的分析性质，同时关于输入变量是非线性的。

回归问题： 给定⼀个由 $N$ 个观测值 $\{{\mathbf{x}}_n\}$ 组成的数据集，其中 $n=1,\cdots ,N$，以及对应的目标值 $\{t_n\}$，我们的目标是预测对于给定新的值的情况 $\mathbf{x}$ 下 $t$ 的值。最简单的方法是，直接建立⼀个适当的函数$y(\mathbf{x})$，对于新的输入 $\mathbf{x}$，这个函数能够直接给出对应的 $t$ 的预测。更⼀般地，从⼀个概率的观点来看，我们的目标是对预测分布 $p(t|\mathbf{x})$ 建模，因为它表达了对于 $\mathbf{x}$ 而言的 $t$ 不确定性。从这个条件概率分布中，对于任意的 $\mathbf{x}$ 的新值，我们可以对 $t$ 进行预测，这种方法等同于最小化⼀个恰当选择的损失函数的期望值。

**注释：**虽然线性模型对于模式识别的实际应用来说有很大的局限性，特别是对于涉及到高维输入空间的问题来说更是如此，但是他们有很好的分析性质，并且为讨论更加复杂的模型提供了基础。

1. 线性基函数模型

**线性回归模型：**对于 $D$ 维数据 $\mathbf{x}=(x_1,x_2,\cdots ,x_D)$ , 回归问题的最简单模型是输入变量的线性组合
$$y(\mathbf{x},\mathbf{w})=w_0+w_1{x}_1+\cdots +w_D{x}_D={\mathbf{w}}^T\mathbf{x}={\mathbf{x}}^T\mathbf{w}$$

该模型是关于参数 $w_1,w_2,\cdots ,w_D$ 的线性模型，同时也是变量 $x_i$ 的线性函数。

**问题：**线性模型的结构（关于变量 $x_i$ 的线性函数）使得模型在应用过程中具有明显的不足，特别是解决非线性问题。

策略：引入变量 $\mathbf{x}$ 的非线性函数 ${\varphi }_j(\mathbf{x})$ ，称为基函数。

推广后的模型为
$$\begin{array}{rl}y(\mathbf{x},\mathbf{w})& ={\mathbf{w}}^T\mathbf{\varphi }(\mathbf{x})\\ & =w_0+w_1{\varphi }_1(\mathbf{x})+\cdots +w_{M-1}{\varphi }_{M-1}(\mathbf{x})\\ & =w_0+\sum _{j=1}^{M-1}{\varphi }_j(\mathbf{x})\end{array}$$
其中，$M$ 为模型参数的个数，$\mathbf{w}=(w_0,w_1,\cdots ,w_{M-1}{)}^T$，$\mathbf{\varphi }=({\varphi }_0,{\varphi }_1,\cdots ,{\varphi }_{M-1}{)}^T$，${\varphi }_0=1$。

注释：

• 基函数 ${\varphi }_j$ 是对一个样本的所有特征进行的非线性变换，而非对样本的某一个特征做的非线性变换，且变换的类型非常多，形成了基向量 $\mathbf{\varphi }$.
• 应用非线性基函数后，模型变为输入变量 $\mathbf{x}$ 的非线性函数，但对于参数 $\mathbf{w}$ 而言，仍然是线性模型。

几个常见的基函数：

(1) 多项式基函数
$${\varphi }_j(x)=x^j$$

%matplotlib inline
import numpy as np
import matplotlib.pyplot as plt

x = np.arange(-1,1,0.01)
p = [1,2,3,4,5,6,7,8,9,10]
for t in p:
    y = np.power(x,t)
    plt.plot(x,y)

plt.show()

(2) 径向基函数（“高斯”基函数）
$${\varphi }_j(x)=\exp \{-\frac{(x-{\mu }_j{)}^2}{2s^2}\}$$

%matplotlib inline
import numpy as np
import matplotlib.pyplot as plt

s = 0.2
x = np.arange(-1,1,0.01)
Mu = np.arange(-1,1,0.2)
for mu in Mu:
    y = np.exp(-np.power(x-mu,2)/2/s/s)
    plt.plot(x,y)

plt.show()

(3) sigmoid 基函数
$${\varphi }_j(x)=\sigma (\frac{x-\mu }{s})$$
其中，
$$\sigma (a)=\frac{1}{1+\exp (-a)}$$

%matplotlib inline
import numpy as np
import matplotlib.pyplot as plt

def sig(a):
    return 1/(1+np.exp(-a))

s = 0.05
x = np.arange(-1,1,0.01)
Mu = np.arange(-1,1,0.2)
for mu in Mu:
    y = sig((x-mu)/s)
    plt.plot(x,y)

plt.show()

2. 极大似然与最小二乘法

假设目标 $t$ 由确定函数 $y(\mathbf{x},\mathbf{w})$ 和高斯噪声的和生成
$$t=y(\mathbf{x},\mathbf{w})+ϵ$$
其中，$ϵ\sim \mathcal{N}(0,{\beta }^{-1})$，因此，可以记作
$$p(t|\mathbf{x},\mathbf{w},\beta )=\mathcal{N}(t|y(\mathbf{x},\mathbf{w}),{\beta }^{-1})$$
对于输入 $\mathbf{X}=\{{\mathbf{x}}_1,{\mathbf{x}}_2,\cdots ,{\mathbf{x}}_N\}$，目标向量 $\mathbf{t}=\{t_1,t_2,\cdots ,t_N\}$， 似然函数可表示为
$$\begin{array}{rl}p(\mathbf{t}|\mathbf{X},\mathbf{w},\beta )& =\prod _{n=1}^N\mathcal{N}(t_n|\mathbf{\varphi }({\mathbf{x}}_n{)}^T\mathbf{w},{\beta }^{-1})\\ & =\prod _{n=1}^N\frac{1}{Z}\exp \{-\frac{1}{2}\beta \cdot (t_n-\mathbf{\varphi }({\mathbf{x}}_n{)}^T\mathbf{w}{)}^2\}\end{array}$$
log 似然可以表示为
$$\begin{array}{rl}\ln p(\mathbf{t}|\mathbf{X},\mathbf{w},\beta )& =\ln \prod _{n=1}^N\frac{1}{Z}\exp \{-\frac{1}{2}\beta \cdot (t_n-\mathbf{\varphi }({\mathbf{x}}_n{)}^T\mathbf{w}{)}^2\}\\ & =-\ln Z-\frac{1}{2}\beta \sum _{n=1}^N\{t_n-\mathbf{\varphi }({\mathbf{x}}_n{)}^T\mathbf{w}{\}}^2\end{array}$$
log 似然函数关于 $\mathbf{w}$ 的导数表示为
$$\begin{array}{rlr}\nabla \ln p(\mathbf{t}|\mathbf{X},\mathbf{w},\beta )& =-\beta \sum _{n=1}^N\{-\mathbf{\varphi }({\mathbf{x}}_n)\}\cdot \{t_n-\mathbf{\varphi }({\mathbf{x}}_n{)}^T\mathbf{w}\}& \\ & =\beta \sum _{n=1}^N\mathbf{\varphi }({\mathbf{x}}_n)\cdot \{t_n-\mathbf{\varphi }({\mathbf{x}}_n{)}^T\mathbf{w}\}& \\ & =\beta \{\sum _{n=1}^N{t}_n\mathbf{\varphi }({\mathbf{x}}_n)-\sum _{n=1}^N\mathbf{\varphi }({\mathbf{x}}_n)\cdot \mathbf{\varphi }({\mathbf{x}}_n{)}^T\mathbf{w}\}& \\ & =\beta \{\sum _{n=1}^N{t}_n\mathbf{\varphi }({\mathbf{x}}_n)-\sum _{n=1}^N\mathbf{\varphi }({\mathbf{x}}_n)\cdot \mathbf{\varphi }({\mathbf{x}}_n{)}^T\mathbf{w}\}& \\ & =\beta \{t_1\mathbf{\varphi }({\mathbf{x}}_1)+t_2\mathbf{\varphi }({\mathbf{x}}_2)+\cdots +t_N\mathbf{\varphi }({\mathbf{x}}_N)\}& \\ & -\beta \{\mathbf{\varphi }({\mathbf{x}}_1)\cdot \mathbf{\varphi }({\mathbf{x}}_1{)}^T+\mathbf{\varphi }({\mathbf{x}}_2)\cdot \mathbf{\varphi }({\mathbf{x}}_2{)}^T+\cdots +\mathbf{\varphi }({\mathbf{x}}_N)\cdot \mathbf{\varphi }({\mathbf{x}}_N{)}^T\}\mathbf{w}& =\beta (\mathbf{\varphi }({\mathbf{x}}_1),\mathbf{\varphi }({\mathbf{x}}_2),\cdots ,\mathbf{\varphi }({\mathbf{x}}_N))\left(\begin{array}{c}{t}_1\\ t_2\\ ⋮\\ t_N\end{array}\right)\\ & -\beta (\mathbf{\varphi }({\mathbf{x}}_1),\mathbf{\varphi }({\mathbf{x}}_2),\cdots ,\mathbf{\varphi }({\mathbf{x}}_N))\left(\begin{array}{c}\mathbf{\varphi }({\mathbf{x}}_1{)}^T\\ \mathbf{\varphi }({\mathbf{x}}_2{)}^T\\ ⋮\\ \mathbf{\varphi }({\mathbf{x}}_N{)}^T\end{array}\right)\mathbf{w}& \\ & =\beta \underset{\mathbf{\Phi }}{\left(\begin{array}{cccc}{\varphi }_0({\mathbf{x}}_1)& {\varphi }_0({\mathbf{x}}_2)& \cdots & {\varphi }_0({\mathbf{x}}_N)\\ {\varphi }_1({\mathbf{x}}_1)& {\varphi }_1({\mathbf{x}}_2)& \cdots & {\varphi }_1({\mathbf{x}}_N)\\ ⋮& ⋮& & ⋮\\ {\varphi }_{M-1}({\mathbf{x}}_1)& {\varphi }_{M-1}({\mathbf{x}}_2)& \cdots & {\varphi }_{M-1}({\mathbf{x}}_N)\end{array}\right)}\left(\begin{array}{c}{t}_1\\ t_2\\ ⋮\\ t_N\end{array}\right)& \\ & -\beta \underset{\mathbf{\Phi }}{\left(\begin{array}{cccc}{\varphi }_0({\mathbf{x}}_1)& {\varphi }_0({\mathbf{x}}_2)& \cdots & {\varphi }_0({\mathbf{x}}_N)\\ {\varphi }_1({\mathbf{x}}_1)& {\varphi }_1({\mathbf{x}}_2)& \cdots & {\varphi }_1({\mathbf{x}}_N)\\ ⋮& ⋮& & ⋮\\ {\varphi }_{M-1}({\mathbf{x}}_1)& {\varphi }_{M-1}({\mathbf{x}}_2)& \cdots & {\varphi }_{M-1}({\mathbf{x}}_N)\end{array}\right)}\underset{{\mathbf{\Phi }}^T}{\left(\begin{array}{c}\mathbf{\varphi }({\mathbf{x}}_1{)}^T\\ \mathbf{\varphi }({\mathbf{x}}_2{)}^T\\ ⋮\\ \mathbf{\varphi }({\mathbf{x}}_N{)}^T\end{array}\right)}\mathbf{w}& \\ & =\beta \mathbf{\Phi }\mathbf{t}-\beta \mathbf{\Phi }{\mathbf{\Phi }}^T\mathbf{w}& \end{array}\text{\hspace{1em}(1)}$$

令 log 似然的梯度 (1) 为 $0$ 得，
$$\mathbf{w}=(\mathbf{\Phi }{\mathbf{\Phi }}^T{)}^{-1}\mathbf{\Phi }\mathbf{t}$$
极大似然的几何解释：

3. 正则化最小二乘法

为了控制过拟合现象，可引入正则化技术，将独立于数据的误差融入总误差函数，并通过一个正则化系数 $\lambda$ 进行折中，得
$$E_D(\mathbf{w})+\lambda E_W(\mathbf{w})\text{\hspace{1em}(2)}$$
通常基于数据的误差函数为
$$E_D(\mathbf{w})=\frac{1}{2}\sum _{n=1}^N\{t_n-\mathbf{\varphi }({\mathbf{x}}_n{)}^T\mathbf{w}{\}}^2$$
一种简单的正则项可建模为权向量的平方和
$$E_W(\mathbf{w})=\frac{1}{2}{\mathbf{w}}^T\mathbf{w}$$
则公式（1）可变形为
$$\begin{array}{rl}J& =\frac{1}{2}\sum _{n=1}^N\{t_n-\mathbf{\varphi }({\mathbf{x}}_n{)}^T\mathbf{w}{\}}^2+\frac{\lambda }{2}{\mathbf{w}}^T\mathbf{w}\\ & =\frac{1}{2}(t_1-\mathbf{\varphi }({\mathbf{x}}_1{)}^T\mathbf{w},t_2-\mathbf{\varphi }({\mathbf{x}}_2{)}^T\mathbf{w},\cdots ,t_n-\mathbf{\varphi }({\mathbf{x}}_n{)}^T\mathbf{w})\left(\begin{array}{c}{t}_1-\mathbf{\varphi }({\mathbf{x}}_1{)}^T\mathbf{w}\\ t_2-\mathbf{\varphi }({\mathbf{x}}_2{)}^T\mathbf{w}\\ ⋮\\ t_N-\mathbf{\varphi }({\mathbf{x}}_N{)}^T\mathbf{w}\end{array}\right)+\frac{\lambda }{2}{\mathbf{w}}^T\mathbf{w}\\ & =\frac{1}{2}(\mathbf{t}-{\mathbf{\Phi }}^T\mathbf{w}{)}^T(\mathbf{t}-{\mathbf{\Phi }}^T\mathbf{w})+\frac{\lambda }{2}{\mathbf{w}}^T\mathbf{w}\end{array}$$
则
$$\frac{\partial J}{\partial \mathbf{w}}=-\mathbf{\Phi }(\mathbf{t}-{\mathbf{\Phi }}^T\mathbf{w})+\lambda \mathbf{w}=(\lambda \mathbf{I}+\mathbf{\Phi }{\mathbf{\Phi }}^T)\mathbf{w}-\mathbf{\Phi }\mathbf{t}=0$$
得
$$\mathbf{w}=(\lambda \mathbf{I}+{\mathbf{\Phi }}^T{)}^{-1}\mathbf{\Phi }\mathbf{t}$$
更一般的正则化框架误差函数为
$$J_1=\frac{1}{2}\sum _{n=1}^N\{t_n-\mathbf{\varphi }({\mathbf{x}}_n{)}^T\mathbf{w}{\}}^2+\frac{\lambda }{2}\sum _{j=1}^M|w{|}^q$$
当 $q=1$ 时，模型称为 lasso 模型，$\lambda$ 充分大时，参数的分量逐渐变为 $0$，从而获得稀疏解。

当 $q$ 取不同的值时，正则项对应不同的形状，如下图所示，

4. 偏置-方差分解

因变量的条件期望（观测数据的集中趋势，数据本身决定的，与模型无关）
$$h(\mathbf{x})=\mathbb{E}[t|\mathbf{x}]=\int tp(\mathbf{x})d\mathbf{x}$$
因变量的条件方差（观测数据的分散程度）
$$var[t|\mathbf{x}]=\int \{t-\mathbb{E}[t|\mathbf{x}]{\}}^{2}p(t|\mathbf{x})d\mathbf{x}=\int \{t-h(\mathbf{x}){\}}^{2}p(t|\mathbf{x})d\mathbf{x}$$
此项与最优拟合曲线 $y(\mathbf{x})$ 无关，表示观测数据的扰动，称为噪声项。
$$\mathbb{E}[L]=\int \{y(\mathbf{x})-h(\mathbf{x}){\}}^{2}p(\mathbf{x})d\mathbf{x}+\underset{\int var[t|\mathbf{x}]p(\mathbf{x})d\mathbf{x}}{\iint \{h(\mathbf{x})-t{\}}^{2}p(\mathbf{x},t)d\mathbf{x}dt}$$
由于最优拟合曲线 $y(\mathbf{x})$ 是观测数据的估计，与观测数据有直接关系，因此可记作 $y(\mathbf{x};\mathcal{D})$；又因为估计结果有可能多解或者抽样多次形成不同的样本，因此，拟合曲线的平均趋势表示为 $\overline{y}(\mathbf{x},\mathcal{D})={\mathbb{E}}_{\mathcal{D}}[y(\mathbf{x};\mathcal{D})]$，称为平均拟合曲线。
$$\begin{array}{rl}\{y(\mathbf{x};\mathcal{D})-h(\mathbf{x}){\}}^2& =\left\{\right\{y(\mathbf{x};\mathcal{D})-{\mathbb{E}}_{\mathcal{D}}[y(\mathbf{x};\mathcal{D})]\}+\{{\mathbb{E}}_{\mathcal{D}}[y(\mathbf{x};\mathcal{D})]-h(\mathbf{x})\}{\}}^2\\ & =\{y(\mathbf{x};\mathcal{D})-{\mathbb{E}}_{\mathcal{D}}[y(\mathbf{x};\mathcal{D})]{\}}^2+\{{\mathbb{E}}_{\mathcal{D}}[y(\mathbf{x};\mathcal{D})]-h(\mathbf{x}){\}}^2\\ & 2\underset{期望为0}{\{y(\mathbf{x};\mathcal{D})-{\mathbb{E}}_{\mathcal{D}}[y(\mathbf{x};\mathcal{D})]\}}\{{\mathbb{E}}_{\mathcal{D}}[y(\mathbf{x};\mathcal{D})]-h(\mathbf{x})\}\end{array}$$

$$\begin{array}{rl}{\mathbb{E}}_{\mathcal{D}}[\{y(\mathbf{x};\mathcal{D})-h(\mathbf{x}){\}}^2]& ={\mathbb{E}}_{\mathcal{D}}\left[\right\{y(\mathbf{x};\mathcal{D})-{\mathbb{E}}_{\mathcal{D}}[y(\mathbf{x};\mathcal{D})]{\}}^2]+{\mathbb{E}}_{\mathcal{D}}[\underset{与观测数据集无关}{\{{\mathbb{E}}_{\mathcal{D}}[y(\mathbf{x};\mathcal{D})]-h(\mathbf{x}){\}}^2}]\\ & =\underset{所有拟合曲线的方差}{{\mathbb{E}}_{\mathcal{D}}\left[\right\{y(\mathbf{x};\mathcal{D})-{\mathbb{E}}_{\mathcal{D}}[y(\mathbf{x};\mathcal{D})]{\}}^2]}+\underset{平均曲线与最优曲线的偏差平方}{\{{\mathbb{E}}_{\mathcal{D}}[y(\mathbf{x};\mathcal{D})]-h(\mathbf{x}){\}}^2}\end{array}$$
综上
$$\begin{array}{rl}\mathbb{E}[L]& =\underset{偏差的平方：(bias{)}^2}{\int \{{\mathbb{E}}_{\mathcal{D}}[y(\mathbf{x};\mathcal{D})]-h(\mathbf{x}){\}}^{2}p(\mathbf{x})d\mathbf{x}}\\ & +\underset{方差variance}{\int {\mathbb{E}}_{\mathcal{D}}\left[\right\{y(\mathbf{x};\mathcal{D})-{\mathbb{E}}_{\mathcal{D}}[y(\mathbf{x};\mathcal{D})]{\}}^2]p(\mathbf{x})d\mathbf{x}}\\ & +\underset{与曲线拟合无关的噪声项：\int var[t|\mathbf{x}]p(\mathbf{x})d\mathbf{x}}{\iint \{h(\mathbf{x})-t{\}}^{2}p(\mathbf{x},t)d\mathbf{x}dt}\end{array}$$
即
$$\text{expected loss}=(\text{bias}{)}^2+\text{variance}+\text{noise}$$

**注释：**偏差-方差分解是频率学派的观点，依赖于来自于总体的样本数据及样本量，但是我们并不知道总体，这就不能很好地解决过拟合问题，需要通过其它理论解决。