监督学习 | 线性回归 之多元线性回归原理及Sklearn实现

相关文章：

机器学习 | 目录

机器学习 | 回归评估指标

监督学习 | 非线性回归 之多项式回归原理及Sklearn实现

监督学习 | 线性回归 之正则线性模型原理及Sklearn实现

监督学习 | 线性分类 之Logistic回归原理及Sklearn实现

1. 线性回归

线性回归，又称普通最小二乘法（Ordinary Least Squares, OLS），是回归问题最简单也最经典的线性方法。线性回归需按照参数 w 和 b，使得对训练集的预测值与真实的回归目标值 y 之间的均方误差（MSE）最小。

均方误差（Mean Squared Error）是预测值与真实值之差的平方和除以样本数。

线性回归没有参数，这是一个优点，但也因此无法控制模型的复杂度。

1.1 基本形式

线性回归预测模型：

$$f(x)=w_1{x}_1+w_2{x}_2+\cdot \cdot \cdot +w_n{x}_n+b\text{\hspace{1em}(1)}$$

• $f(x)$ 是预测值

• $n$ 是特征的数量

• $x_i$ 是第 $i$ 个特征值

• 偏置项 $b$ 以及特征权重 $w_1,w_2,\cdot \cdot \cdot ,w_n$

这可以用更为简介的向量化表示。

线性回归预测模型（向量化）：

$$\begin{array}{rl}f(x)& =w^T\cdot x+b\\ & ={\theta }^T\cdot x\end{array}\text{\hspace{1em}(2)}$$

• $w=(w_1;w_2;...;w_n)$

• $w$ 和 $b$ 学习得到，模型就得以确定

• $\theta =(w;b)$

1.2 成本函数

在线性回归中，我们选择 MSE（均方误差）作为其成本函数（Cost Function），其原因在与：首先它是一个凸函数，其次是因为它是可导的，这两个条件决定了可以利用梯度下降法来求得 $\theta$ 的最小值。

2. w 的计算方式

关于 $w$ 的计算，有两种方法，一种是利用最小二乘法最小化 MSE 导出 $w$ 的计算公式（标准方程）；另一种是利用梯度下降法找出 MSE 的最小值。

首先来看最小利用最小二乘法计算 $w$ 的公式。

利用最小二乘法最小化成本函数 ，可以得出 $\theta$ 的计算方程（标准方程）：^[1]

$$\hat{\theta }=(X^T\cdot X{)}^{(-1)}\cdot X^T\cdot y\text{\hspace{1em}(3)}$$

• $\hat{\theta }$ 是使成本函数 MSE 最小化的 $\theta$ 值

• $y$ 是包含 $y^{(1)}$ 到 $y^{(m)}$ 的目标值向量

则最终学得的多元线性回归模型为：

$$\begin{array}{rl}f({\bar{x}}_i)& ={\bar{x}}_i\cdot {\theta }^T\\ & ={\bar{x}}_i\cdot (X^{T}X{)}^{-1}{X}^{T}y\end{array}\text{\hspace{1em}(4)}$$

其中：${\bar{x}}_i=(x_i;1)$。

推导过程如下：

2.1 标准方程法

2.1.1 普通形式

标准方程法，又称标准最小二乘法，即通过最小二乘法求出 $w$ 和 $b$ 或向量形式下的 $\theta$，由最小二乘法导出的 $\theta$ 计算公式称为标准方程。

首先来推导普通形式下 $w$ 和 $b$ 的计算公式。

线性回归试图学得：

$$f(x_i)=w{x}_i+b,使得f(x_i)\simeq y_i\text{\hspace{1em}(5)}$$

如何确定 $w$ 和 $b$ 呢？关键在于如何衡量 $f(x)$ 与 $y$ 之间的差别。

回想一下，训练模型就是设置模型参数知道模型最适应训练集的过程。要达到这个目的，我们首先需要知道怎么衡量模型对训练数据的拟合程度是好还是差，在 机器学习 | 回归评估指标 里，我们了解到回归模型最常见的性能指标有均方误差（MSE）。因此以 MSE 为线性回归模型的成本函数，在训练线性回归模型时，我们需要找到最小化 MSE 的 $w$ 值 $w^{\ast }$，即：

$$\begin{array}{rl}(w^{\ast },b^{\ast })& =\underset{(w,b)}{\mathrm{argmin}}\sum _{i=1}^m(f(x_i)-y_i{)}^2\\ & =\underset{(w,b)}{\mathrm{argmin}}\sum _{i=1}^m(y_i-w{x}_i-b{)}^2\end{array}\text{\hspace{1em}(6)}$$

均方误差有非常好的几何意义，它对应了常用的欧几里得距离（或简称欧氏距离，Euclidean distance），基于均方误差最小化来进行模型求解的方法称为“最小二乘法”（least square method），在线性回归中，最小二乘法就是试图找出一条直线，使得所有样本到线上的欧氏距离之和最小。

求解 $w$ 和 $b$ 使得 $E_{(w,b)}={\sum }_{i=1}^m(y_i-w{x}_i-b{)}^2$ 最小化的过程，称为线性回归模型的最小二乘“参数估计”（parameter estimation），我们可以将$E_{(w,b)}$ 分别对 $w$ 和 $b$ 求偏导，得到：^[2]

$$\frac{\partial E_{(w,b)}}{\partial w}=2(w\sum _{i=1}^m{x}_i^2-\sum _{i=1}^m(y_i-b)x_i)\text{\hspace{1em}(7)}$$
$$\frac{\partial E_{(w,b)}}{\partial b}=2(mb-\sum _{i=1}^m(y_i-w{x}_i))\text{\hspace{1em}(9)}$$

然后令公式 (8)、(9) 为零可以得到 $w$ 和 $b$ 最优解的闭式（closed-form）解：

$$w=\frac{{\sum }_{i=1}^m{y}_i(x_i-\bar{x})}{{\sum }_{i=1}^m{x}_i^2-\frac{1}{m}({\sum }_{i=1}^m{x}^i{)}^2}\text{\hspace{1em}(10)}$$
$$b=\frac{1}{m}\sum _{i=1}^m(y_i-w{x}_i)\text{\hspace{1em}(11)}$$

2.1.2 向量形式

更一般的情形是对如有 $n$ 个属性的数据集 $D$ ，这时我们试图学得：

$$f(x_i)=w^T{x}_i+b,使得f(x_i)\simeq y_i\text{\hspace{1em}(12)}$$

这称为多元线性回归（multivariate linear regression）.

类似的，可利用最小二乘法对 $w$ 和 $b$ 进行估计。为便于讨论，我们吧 $w$ 和 $b$ 转换为向量形式 $\theta =(w;b)$，即：

$$\begin{array}{rl}f(x_i)& =w^T\cdot x_i+b\\ & ={\theta }^T\cdot x_i\end{array}\text{\hspace{1em}(13)}$$

相应的，把数据集 $D$ 表示为一个 $m\times (d+1)$ 大小的矩阵 $X$，其中每行对应与一个示例，该行前 $d$ 个元素对应与示例的 $d$ 个属性值，最后一个元素恒为 1，即：

$$X=\left(\begin{array}{ccccc}{x}_{11}& x_{12}& \cdots & x_{1n}& 1\\ x_{21}& x_{22}& \cdots & x_{2n}& 1\\ ⋮& ⋮& \ddots & ⋮& ⋮\\ x_{m1}& x_{m2}& \cdots & x_{mn}& 1\end{array}\right)=\left(\begin{array}{cc}{x}_{1n}^T& 1\\ x_{2n}^T& 1\\ ⋮& ⋮\\ x_m^T& 1\end{array}\right)\text{\hspace{1em}(14)}$$

再把标记也写成向量形式 $y=(y_1;y_2;\cdots ;y_m)$，类似于公式 (7) ，有：

$$\hat{\theta }=\underset{\theta }{\mathrm{argmin}}(y-X\theta {)}^T(y-X\theta )\text{\hspace{1em}(15)}$$

令 $E_{\theta }=(y-X\theta {)}^T(y-X\theta )$ ，对 $\theta$ 求导得到：

$$\frac{d{E}_{\theta }}{d\theta }=2X^T(X\theta -y)\text{\hspace{1em}(16)}$$

令上式为零可得 $\theta$ 的最优解的闭式接，但由于涉及矩阵逆的计算，比单变量情形要复杂一些，下面我们做一个简单的讨论。

当 $X^{T}X$ 为满秩矩阵（full-rank matrix）或正定矩阵（positive definite matrix）时，令公式 (15) 为零可得标准方程：

$$\hat{\theta }=(X^{T}X{)}^{-1}{X}^{T}y\text{\hspace{1em}(16)}$$

其中 $(X^{T}X{)}^{-1}$ 是矩阵 $(X^{T}X)$ 的逆矩阵，令 ${\bar{x}}_i=(x_i,1)$ ，则最终学得的多元线性回归模型为：

KaTeX parse error: No such environment: align* at position 9: \begin{̲a̲l̲i̲g̲n̲*̲}̲ f(\bar{x}…

2.1.3 Python 实现

我们利用 Python 简单实现一下 $\theta$ 以及回归方程的计算，首先方程 $y=4+3\times x$生成 100 个数据点并可视化：

import numpy as np
import matplotlib.pyplot as plt

X = 2 * np.random.rand(100, 1)
y = 4 + 3 * X + np.random.randn(100, 1)

plt.plot(X, y, "b.")
plt.xlabel("$x_1$", fontsize=18)
plt.ylabel("$y$", rotation=0, fontsize=18)
plt.axis([0, 2, 0, 15])
plt.show()

接着我们利用公式 (16) 来计算 $\theta$：

X_b = np.c_[np.ones((100, 1)), X]  # 向量形式下 x 的输入为 (x, 1)
theta = np.linalg.inv(X_b.T.dot(X_b)).dot(X_b.T).dot(y)
theta

array([[4.10499602],
       [2.78527083]])

我们用区间的首尾两个点（x=0 和 x=2）来画出拟合直线。计算出 $\theta$ 之后就可以利用公式 (17) 来计算两个点的的预测数据 y_predict :

X_new = np.array([[0], [2]])
X_new_b = np.c_[np.ones((2, 1)), X_new]  # add x0 = 1 to each instance
y_predict = X_new_b.dot(theta)
y_predict

plt.plot(X_new, y_predict, "r-")
plt.plot(X, y, "b.")
plt.axis([0, 2, 0, 15])
plt.show()

2.1.4 计算复杂度

标准方程需对矩阵 $(X^{T}X)$ 求逆，这是一个 $n\times n$的矩阵（ $n$ 是特征数量）。对这种矩阵求逆计算复杂度通常为 $O(n^{2.4})$ 到 $O(n^3)$ 之间（取决于计算实现）。换句话说，如果将特征数量翻倍，那么计算时间将乘以大约 $2^{2.4}=5.3$ 倍到 $2^3=8$ 倍之间。^[3]

特征数量较大时（例如 100 000）时，标准方程的计算将极其缓慢

好的一面是，相对于训练集中的实例数量 $O(m)$ 来说，方程式线性的，所以能够有效的处理大量的训练集，只要内存足够。

同样，线性回归模型一经训练（不论是标准方程还是其他算法），预测就非常快速，因为计算复杂度相对于想要预测的实例数量和特征数量来说，都是线性的。换句话说，对两倍的实例（或者是两倍的特征数）进行预测，大概需要两倍的时间。因此，我们来看看其他的优化算法：梯度下降算法。

2.2 梯度下降法

2.2.1 梯度下降原理

关于梯度下降法的推导及 Python 实现，请参考我的另一片文章：机器学习 | 梯度下降原理及Python实现。

2.2.2 Python 实现

机器学习 | 梯度下降原理及Python实现

3. Sklearn 实现

我们将使用线性回归根据体质指数 (BMI) 预测预期寿命。

对于线性模型，我们将使用 sklearn.linear_model.LinearRegression 类（Sklearn 官方文档）。

我们将使用线性回归模型对数据进行拟合并画出拟合直线。

import numpy as np
import pandas as pd
import matplotlib.pyplot as plt
from sklearn.linear_model import LinearRegression

bmi_life_data = pd.read_csv("data/bmi_and_life_expectancy.csv")

bmi_life_model = LinearRegression()
bmi_life_model.fit(bmi_life_data[['BMI']], bmi_life_data[['BMI']])

y_1 = bmi_life_model.predict(np.array(min(bmi_life_data['BMI'])).reshape(-1,1))
y_2 = bmi_life_model.predict(np.array(max(bmi_life_data['BMI'])).reshape(-1,1))

y_1 = y_1.tolist()
y_1 = [y for x in y_1 for y in x]

y_2 = y_2.tolist()
y_2 = [y for x in y_2 for y in x]

plt.plot(bmi_life_data['BMI'], bmi_life_data['BMI'], 'b.')
plt.plot([min(bmi_life_data['BMI']), max(bmi_life_data['BMI'])], [y_1, y_2], "r-")
plt.xlabel("BMI")
plt.ylabel('life_expectancy')
plt.show()

参考资料

[1] 周志华. 机器学习[M]. 北京: 清华大学出版社, 2016: 53-56

[2] Aurelien Geron, 王静源, 贾玮, 边蕤, 邱俊涛. 机器学习实战：基于 Scikit-Learn 和 TensorFlow[M]. 北京: 机械工业出版社, 2018: 103-106.

[3] Aurelien Geron, 王静源, 贾玮, 边蕤, 邱俊涛. 机器学习实战：基于 Scikit-Learn 和 TensorFlow[M]. 北京: 机械工业出版社, 2018: 106-107.