机器学习笔记之——线性回归

线性回归

---

1. 线性回归简介

1.1 模型描述

对于有 m 个样本的数据集 D，每个样本 $\mathbf{x}=[x_1,x_2,\dots ,x_d{]}^T$ 是一个 d 维的向量，样本 $\mathbf{x}$ 对应的真实输出是 $y$，线性回归的目的是学习一个关于样本属性的线性函数，使得函数的输出值尽可能地接近 $y$。线性函数的形式如下：
$$f(\mathbf{x})=w_1{x}_1+w_2{x}_2+\cdots +w_d{x}_d+b$$ 用向量形式表示的话，$f(\mathbf{x})={\mathbf{w}}^T\mathbf{x}+b$。那么如何衡量预测值与真实值之间的差距呢？线性回归使用的是均方误差，即
$$\underset{\mathbf{w},b}{\min }L=\underset{\mathbf{w},b}{\min }\sum _{i=1}^m(f({\mathbf{x}}_i)-y_i{)}^2\text{\hspace{1em}(1)}$$ 其中 ${\mathbf{x}}_i$ 和 $y_i$ 分别表示第 i 个样本的特征和真实输出值。

1.2 求解方法一：矩阵运算

如果我们用矩阵 $\mathbf{X}\in R^{m\times (d+1)}$ 来表示样本矩阵，用 $\hat{\mathbf{w}}=(\mathbf{w};b)\in R^{(d+1)\times 1}$ 来表示权重系数，用 $\mathbf{y}\in R^{m\times 1}$ 来表示样本真实输出值组成的向量，即
$$\mathbf{X}=\left[\begin{array}{cc}{\mathbf{x}}_1^T& 1\\ {\mathbf{x}}_2^T& 1\\ \dots & \dots \\ {\mathbf{x}}_m^T& 1\end{array}\right],\hat{\mathbf{w}}=\left[\begin{array}{c}{w}_1\\ w_2\\ \dots \\ w_d\\ b\end{array}\right]=\left[\begin{array}{c}\mathbf{w}\\ b\end{array}\right],\mathbf{y}=\left[\begin{array}{c}{y}_1\\ y_2\\ \dots \\ y_m\end{array}\right]$$ 可以看出，$\mathbf{X}\hat{\mathbf{w}}$ 的第 $i$ 行就是 ${\mathbf{w}}^T{\mathbf{x}}_i+b$，也就是 $f({\mathbf{x}}_i)$。所以优化目标公式 (1) 等价于：
$$\underset{\hat{\mathbf{w}}}{\min }\Vert \mathbf{X}\hat{\mathbf{w}}-\mathbf{y}{\Vert }_2^2$$ 因为 $\mathbf{X}\hat{\mathbf{w}}-\mathbf{y}$ 是一个向量，所以
$$L=\Vert \mathbf{X}\hat{\mathbf{w}}-\mathbf{y}{\Vert }_2^2=(\mathbf{X}\hat{\mathbf{w}}-\mathbf{y}{)}^T(\mathbf{X}\hat{\mathbf{w}}-\mathbf{y})$$ 对 $\hat{\mathbf{w}}$ 求导数，可得：
$$\frac{\partial L}{\partial \hat{\mathbf{w}}}=2{\mathbf{X}}^T\mathbf{y}-2{\mathbf{X}}^T\mathbf{X}\hat{\mathbf{w}}$$ 令导数为 0， 可以解得：
$$\hat{\mathbf{w}}=({\mathbf{X}}^T\mathbf{X}{)}^{-1}{\mathbf{X}}^T\mathbf{y}$$

1.3 求解方法二：梯度下降

使用梯度下降方法(Gradient Descent)迭代更新参数，首先计算损失函数公式（1）对参数的偏导数，如下：
$$\frac{\partial L}{\partial w_j}=\sum _{i=1}^{m}2(f({\mathbf{x}}_i)-y_i)x_{ij}$$ $$\frac{\partial L}{\partial b}=\sum _{i=1}^{m}2(f({\mathbf{x}}_i)-y_i)$$ 其中 $x_{ij}$ 表示第 $i$ 个样本的第 $j$ 个属性。然后设定一个学习率 $\alpha$，按以下公式更新参数：
$$w_j=w_j-\alpha \frac{\partial L}{\partial w_j}$$ $$b=b-\alpha \frac{\partial L}{\partial b}$$ 直到损失函数的值收敛到一个最小值。

2. 用最大似然和贝叶斯后验看线性回归

2.1 最大似然

为了书写方便，下面我们用 $\mathbf{w}$ 表示上面的 $\hat{\mathbf{w}}$，用 ${\mathbf{x}}_i$ 表示第 $i$ 个样本的特征拼接上常数 1 之后的 (d+1) 向量。则 $f({\mathbf{x}}_i)={\mathbf{w}}^T{\mathbf{x}}_i$。 假设样本 ${\mathbf{x}}_i$ 的输出值 $y_i$ 是一个随机变量，其服从高斯分布 $N(\mathbf{\mu },{\sigma }_1^2)$，其中 $\mathbf{\mu }=f({\mathbf{x}}_i)$，即允许真实值 $y_i$ 在 $f({\mathbf{x}}_i)$ 的小范围内波动。在给定参数 $\mathbf{w}$ 的情况下，生成 $y_i$ 的似然为：
$$p(y_i|\mathbf{w})=N(f({\mathbf{x}}_i),{\sigma }_1^2)=\frac{1}{\sqrt{2\pi }{\sigma }_1}{e}^{-\frac{(y_i-f({\mathbf{x}}_i){)}^2}{2\pi {\sigma }_1}}$$ 则对于整个数据集来说，似然为每个样本似然的乘积：
$$\prod _{i=1}^{m}p(y_i|\mathbf{w})=\prod _{i=1}^{m}N(f({\mathbf{x}}_i),{\sigma }_1^2)=\prod _{i=1}^m\frac{1}{\sqrt{2\pi }{\sigma }_1}{e}^{-\frac{(y_i-f({\mathbf{x}}_i){)}^2}{2\pi {\sigma }_1}}$$ 由于连乘容易导致数据溢出，因此取一般会对似然取对数，得到
$$\log \prod _{i=1}^{m}p(y_i|\mathbf{w})=\sum _{i=1}^m\log p(y_i|\mathbf{w})=\sum _{i=1}^m-(\frac{(y_i-f({\mathbf{x}}_i){)}^2}{2\pi {\sigma }_1}+\frac{1}{2}\log 2\pi +\log {\sigma }_1)$$ 因为 $2\pi ,{\sigma }_1$ 与参数 $\mathbf{w}$ 无关，可以看作是常数从而去掉，所以最大化似然等价于最小化下列式子：
$$\underset{\mathbf{w}}{\min }\sum _{i=1}^m(y_i-f({\mathbf{x}}_i){)}^2$$ 上述式子与 1.1 中的公式（1）完全一致。从上面分析，我们可以看出，最大化似然等价于最小化均方误差。

2.2 贝叶斯后验

假设参数 $\mathbf{w}$ 服从先验分布 $N(0,{\sigma }_2^2)$，即：
$$p(\mathbf{w})=\frac{1}{\sqrt{2\pi }{\sigma }_2}{e}^{-\frac{{\mathbf{w}}^2}{2\pi {\sigma }_2}}$$ 给定数据集 D，则可以得到 $\mathbf{w}$ 的后验概率如下：
$$p(\mathbf{w}|\mathbf{y})=\frac{p(\mathbf{w})p(\mathbf{y}|\mathbf{w})}{p(\mathbf{y})}=\frac{p(\mathbf{w}){\prod }_{i=1}^{m}p(y_i|\mathbf{w})}{p(\mathbf{y})}$$ 我们想找到一个 $\mathbf{w}$ 使得上述后验概率最大，由于分母 $p(\mathbf{y})$ 与参数 $\mathbf{w}$ 的取值没有关系，因此可以去掉。再对后验概率取对数，得到：
$$\log p(\mathbf{w}|\mathbf{y})=\sum _{i=1}^m\log p(y_i|\mathbf{w})+\log p(\mathbf{w})$$ 展开得到：
$$\log p(\mathbf{w}|\mathbf{y})=\sum _{i=1}^m-(\frac{(y_i-f({\mathbf{x}}_i){)}^2}{2\pi {\sigma }_1}+\frac{1}{2}\log 2\pi +\log {\sigma }_1)-\frac{{\mathbf{w}}^2}{2\pi {\sigma }_2}-\frac{1}{2}\log 2\pi -\log {\sigma }_2$$ 把和 $\mathbf{w}$ 无关的项去掉之后，最大化上面式子等价于最小化下列式子：
$$\underset{\mathbf{w}}{\min }\frac{1}{2\pi {\sigma }_1}\sum _{i=1}^m(y_i-f({\mathbf{x}}_i){)}^2+\frac{{\mathbf{w}}^2}{2\pi {\sigma }_2}$$ 即：
$$\underset{\mathbf{w}}{\min }\sum _{i=1}^m(y_i-f({\mathbf{x}}_i){)}^2+\lambda \Vert \mathbf{w}{\Vert }^2$$ 其中 $\lambda ={\sigma }_1/{\sigma }_2$。可以看出，最大化后验概率等价于加了正则项的线性回归。