“线性回归模型”原理小结

0.引言

本人最近一直在学习Aurélien Géron所写的《Hands-On Machine Learning with Scikit-Learn & TensorFlow》一书，觉得这本书非常适合机器学习的入门，该书并没有很深地介绍算法的各种细节（繁多的数学公式，容易造成只见树木，不见森林的情况），而是通过浅显易懂的文字描述、少量数学公式以及大量的图示对各种算法的基本原理、适用条件、库函数调用、性能评价指标等方面进行了说明，从而使读者对不同的机器学习算法有一个宏观、直观且完整的了解和认识，并在掌握算法优缺点的基础上能够灵活使用已有的库函数来解决实际问题。通过学习该书，应该能够建立起机器学习的基本知识框架，从而为后续具体算法的深入学习和研究打下基础。

学习这本书最初源于MIT的Gilbert Strang大牛（18.06 “Linear Algebra”这门课的可爱老教授）为他的新课18.065 “Matrix Methods In Data Analysis, Signal Processing, And Machine Learning”所写的新书《Linear Algebra and Learning from Data》，该书的序言推荐了这本书。该书的作者曾领导Google YouTube视频分类团队，因此作者在机器学习领域有着深厚的理论基础和丰富的工程经验。该书内容逻辑紧密，表述清晰，并在GitHub上有配套程序，在此推荐给大家。

本人将书中线性回归模型的相关内容进行了小结、补充和扩展，现分享给大家，欢迎指正。

1.线性回归模型的表示

线性回归（Linear Regression）是一种最简单的预测模型且该模型具有非常好的数学性质，该模型可以表示为：

$$\begin{gathered} \hat{y}={\theta }_0+{\theta }_1{x}_1+{\theta }_2{x}_2+\cdots +{\theta }_n{x}_n \\ ={\theta }_0{x}_0+{\theta }_1{x}_1+{\theta }_2{x}_2+\cdots +{\theta }_n{x}_n(1) \end{gathered}$$

其中，$n$表示样本特征（feature）的数量，$x_i(i=1,2,\dots ,n)$表示样本第$i$个特征且$x_0\equiv 1$，${\theta }_i(i=0,1,2,\dots ,n)$表示线性回归模型的系数，$\hat{y}$表示预测值。

为了表达简洁，使用向量形式重新表示公式（1）得到

$$\hat{y}=h_{\mathbf{\theta }}(\text{x})={\mathbf{\theta }}^T\text{x}(2)$$

其中，$\mathbf{\theta }={\left[{\theta }_0,{\theta }_1,{\theta }_2,\dots ,{\theta }_n\right]}^T$表示模型的参数向量（parameter vector），$\text{x}={\left[x_0,x_1,x_2,\dots ,x_n\right]}^T$表示样本的特征向量（feature vector），$h_{\mathbf{\theta }}$表示假设函数（hypothesis function）或预测函数，且该函数使用模型的参数向量$\mathbf{\theta }$作为参数。

2.线性回归模型的训练

对于预测模型，最常使用的性能评价指标是均方根误差（Root Mean Square Error, RMSE）。在实际中，为了方便计算，使用均方误差（Mean Square Error, MSE）而不是RMSE（带根号不方便计算）来训练模型。因为，使MSE达到最小值和使RMSE达到最小值所对应的的参数向量$\mathbf{\theta }$是同一个，我们也将MSE定义为线性回归模型的代价函数（cost function）。因此，线性回归模型的训练就是要根据训练样本集（training set）确定模型的参数向量$\mathbf{\theta }$从而使代价函数取最小值。线性回归模型的代价函数（即MSE）可以表示为

$$J\left(\mathbf{\theta }\right)=\text{MSE}\left(\mathbf{\theta }\right)=\frac{1}{m}\sum _{i=1}^m{\left({\mathbf{\theta }}^T{\text{x}}^{(i)}-y^{(i)}\right)}^2(3)$$

其中，$m$表示训练样本集中样本的个数，${\text{x}}^{(i)}={\left[x_0^{(i)},x_1^{(i)},x_2^{(i)},\dots ,x_n^{(i)}\right]}^T$表示第$i$个样本的特征向量，$y^{(i)}$表示第$i$个样本的标签值（label）。在很多情况下，训练模型所使用的的代价函数和评价模型性能的指标函数是不同的，其原因在于性能评价指标函数在计算便利性、可导性上有欠缺，或者需要在训练中对参数加以额外的限制（即正则化（Regularization））。

如何求解模型的参数向量$\mathbf{\theta }$使公式（3）的代价函数$J\left(\mathbf{\theta }\right)$在给定的训练样本集上达到最小值？这里介绍两种基本方法：一种是基于闭式解（Close-Form Solution）或解析解（Analytical Solution）的方法，另一种是基于梯度下降（Gradient Descent, GD）的方法。

2.1 基于闭式解/解析解的方法

对于线性回归模型，通过最小化代价函数来求解模型的参数向量$\mathbf{\theta }$这个数学问题是有闭式解或解析解的（其他模型不一定有这样好的数学性质），即可以通过数学公式求解。

将训练样本集中每个样本的特征向量和标签值都带入公式（1）所示的线性模型中，得到

$$\begin{gathered} y^{(1)}={\theta }_0{x}_0^{(1)}+{\theta }_1{x}_1^{(1)}+{\theta }_2{x}_2^{(1)}+\cdots +{\theta }_n{x}_n^{(1)} \\ {y}^{(2)}={\theta }_0{x}_0^{(2)}+{\theta }_1{x}_1^{(2)}+{\theta }_2{x}_2^{(2)}+\cdots +{\theta }_n{x}_n^{(2)} \\ ⋮ \\ {y}^{(m)}={\theta }_0{x}_0^{(m)}+{\theta }_1{x}_1^{(m)}+{\theta }_2{x}_2^{(m)}+\cdots +{\theta }_n{x}_n^{(m)} \end{gathered}$$

该方程组共有$m$个方程，需要求解$n+1$个未知数，即$\mathbf{\theta }={\left[{\theta }_0,{\theta }_1,{\theta }_2,\dots ,{\theta }_n\right]}^T$。一般情况下，训练样本集中样本的数量要远大于每个样本特征的数量，即$m\gg n$。因此，该方程组中方程的个数远远多于未知数的个数，该方程组为超定（overdetermined）方程组。

将该超定方程组写成矩阵的形式：

$$\text{X}\mathbf{\theta }=\mathbf{y}(4)$$

其中，$\text{X}$表示以所有训练样本的特征向量为行向量所组成的矩阵，其形式为

$$\text{X}=\left[\begin{array}{c}{{\text{x}}^{(1)}}^T\\ {{\text{x}}^{(2)}}^T\\ ⋮\\ {{\text{x}}^{(m)}}^T\end{array}\right]=\left[\begin{array}{ccccc}{x}_0^{(1)}& x_1^{(1)}& x_2^{(1)}& \dots & x_n^{(1)}\\ x_0^{(2)}& x_1^{(2)}& x_2^{(2)}& \dots & x_n^{(2)}\\ ⋮& ⋮& ⋮& \dots & ⋮\\ x_0^{(m)}& x_1^{(m)}& x_2^{(m)}& \dots & x_n^{(m)}\end{array}\right],$$
$\mathbf{y}={\left[y^{(1)},y^{(2)},\dots ,y^{(m)}\right]}^T$表示标签向量（label vector）。

2.1.1 基于正规方程的方法

公式（4）所对应的矩阵方程可以使用正规方程（Normal Equation）求解，其公式为

$$\hat{\mathbf{\theta }}={\left({\text{X}}^T\text{X}\right)}^{-1}{\text{X}}^T\mathbf{y}.(5)$$

通过正规方程求解出参数向量的估计值$\hat{\mathbf{\theta }}$，从而完成线性回归模型的训练。

基于正规方程的方法的优点：

• 仅通过一个公式（5）就可以计算出参数向量的估计值$\hat{\mathbf{\theta }}$。
• 正规方程的计算复杂度和训练样本集大小的关系是$O(m)$。因此，当训练样本数量很多并且可以全部放入内存时，使用正规方程求解是很高效的。

基于正规方程的方法的缺点：

• 公式（5）中${\text{X}}^T\text{X}$不一定可逆，即当训练样本的部分特征存在高度相关性时（即某些特征可以表示成其他特征的线性组合）或方程组是欠定（underdetermined）时（即$m<n$时），${\text{X}}^T\text{X}$这个方阵是不可逆的。
• 即使${\text{X}}^T\text{X}$可逆，$\text{X}$是$m$行$n+1$列的矩阵（第一列为全$1$的列向量），${\text{X}}^T\text{X}$是$n+1$行$n+1$列的矩阵，${\left({\text{X}}^T\text{X}\right)}^{-1}$这个求逆矩阵的计算复杂度在$O\left(n^{2.4}\right)$至$O\left(n^3\right)$之间（取决于具体实现方法）。当$n$的值很大时（即样本特征数量很多时），正规方程的计算量会很大，计算时间会很长。

综上所述，当样本特征数量较小且内存可以放入全部训练样本集时，可以使用正规方程来完成线性回归模型的训练。

2.1.2 基于“伪逆”的方法

由于基于正规方程的方法存在“${\text{X}}^T\text{X}$不一定可逆”和“计算复杂度”高的缺点，可以使用基于“伪逆”（Pseudoinverse或Moore-Penrose Pseudoinverse）的方法来求解矩阵方程（4）。

首先，对矩阵$\text{X}$进行奇异值分解（Singular Value Decomposition，SVD），得到

$$\text{X}=\mathbf{U}\mathbf{\Sigma }{\mathbf{V}}^T$$

其中$\mathbf{\Sigma }$是半正定$m\times （n+1）$阶对角矩阵。

则矩阵$\text{X}$的“伪逆”定义为

$${\text{X}}^{+}=\mathbf{V}{\mathbf{\Sigma }}^{+}{\mathbf{U}}^T$$

其中${\mathbf{\Sigma }}^{+}$是将$\mathbf{\Sigma }$中的对角线非零元素取倒数后再进行矩阵转置的结果。

通过使用“伪逆”矩阵${\text{X}}^{+}$,方程（4）的解为

$$\hat{\mathbf{\theta }}={\text{X}}^{+}\mathbf{y}.(6)$$

公式（5）和（6）同为闭式解，相比于正规方程，基于“伪逆”的方法的优点在于：

• 能够求解训练样本部分特征存在高度相关性或欠定方程组的情况（正规方程无法求解）；
• 计算复杂度为$O\left(n^2\right)$（比正规方程方法大幅度降低）。

因此，Scikit-Learn库的LinearRegression函数使用基于“伪逆”的方法求解参数向量的估计值$\hat{\mathbf{\theta }}$。但基于“伪逆”的方法的局限性在于：

• 当样本特征数量$n$很大时，计算量仍然很大，耗时长。
• 要求训练样本集数据必须全部放入内存中，否则无法计算，也无法使用out-of-core技术。

2.3 基于梯度下降的方法

当样本特征数量很大或内存放不下全部训练样本集时，可以使用基于梯度下降（Gradient Descent, GD）的方法来完成线性回归模型的训练。

不同于基于闭式解/解析解中仅仅使用一个公式就完成线性回归模型的训练，梯度下降方法采用多次迭代逐步逼近最优解的方法得到参数向量的估计值$\hat{\mathbf{\theta }}$，从而完成线性回归模型的训练，如图1所示。

图1. 梯度下降示意图。

梯度下降法可以这样比喻：你在山上迷路了，周边充满了浓雾，你只能感受到你脚下周边地面的坡度。那么，一种能够最快达到山底的方法就是每次都沿着脚下向下最陡的方向下山。

对于线性回归模型，它的MSE函数具有很好的数学性质，它是关于参数向量$\mathbf{\theta }$的凸函数，具有唯一的极值点，这个极值点也即最小值点，如图1所示。当$\mathbf{\theta }$为二维向量时（$\mathbf{\theta }={\left[{\theta }_0,{\theta }_1\right]}^T$），其MSE函数形状类似于开口向上的抛物线；当$\mathbf{\theta }$为三维向量时（$\mathbf{\theta }={\left[{\theta }_0,{\theta }_1,{\theta }_2\right]}^T$），其MSE函数形状类似于开口向上的“碗”；当$\mathbf{\theta }$为高维向量时（$\mathbf{\theta }={\left[{\theta }_0,{\theta }_1,{\theta }_2,\dots ,{\theta }_n\right]}^T$），其MSE函数形状类似于高维空间中开口向上的“碗”。对于其他模型的训练，它的代价函数可能不是凸函数，函数图形存在许多“陷阱”，比如局部极值点、脊（ridge）、高原（plateau）等不规则形状，如图2所示，从而给最小值的迭代求解带来困难。

图2. 梯度下降“陷阱”示意图。

函数在某点处的梯度是一个向量，这个向量指向函数值变化最快的方向（即方向导数绝对值最大的方向），它的方向垂直于函数在该点处的等值线/面且指向函数值增大的方向。因此，可以随机选择$\mathbf{\theta }$的初始值，然后每次沿着梯度的反方向（向下最陡的方向）下降一段距离，更新$\hat{\mathbf{\theta }}$的估计值，即

$${\hat{\mathbf{\theta }}}^{(\text{next step})}=\hat{\mathbf{\theta }}-\eta {\nabla }_{\mathbf{\theta }}J(\mathbf{\theta })(7)$$

其中，${\nabla }_{\mathbf{\theta }}J(\mathbf{\theta })$表示代价函数的梯度向量，$\eta$是一个实数，称为学习率（learning rate），它表示每次下降的距离。学习率设置过小的话，则需要很多次迭代更新后才能收敛到最小值点，耗时长；学习率设置过大的话，则可能跳过最小值点造成算法不收敛。因此，如何设置合适的学习率也是一个重要问题，但在这里不做详细讨论。

由于线性回归模型的代价函数$J(\mathbf{\theta })$是关于$\mathbf{\theta }$的凸函数，因此，当选择合适的学习率并等待足够长的时间后，运用公式（7）将使$\hat{\mathbf{\theta }}$一步步收敛到最优估计值附近，那么什么时候终止迭代呢？从理论上讲，当梯度为零向量时，代价函数就达到了最小值，此时对应的参数向量就是估计值$\hat{\mathbf{\theta }}$。在工程中，一种简单的方法是：首先设置一个很大的迭代次数，再设置一个提前终止条件：当梯度向量变得很小时，即梯度向量的模小于预设的一个很小阈值$ϵ$时，就认为已经近似达到代价函数的最小值点，而这个预设的小阈值$ϵ$称为容许度（tolerance）。如果尚未达到最大迭代次数而提前终止条件满足时，就可停止迭代；反之，就要迭代到最大迭代次数再终止。迭代停止后，将最新的$\hat{\mathbf{\theta }}$作为参数向量的估计值，从而完成线性回归模型的训练。

此外，使用梯度下降法需要对样本各个特征的取值范围进行归一化（feature scaling），如图3所示。从左图中可以看出当各个特征取值范围归一化后，代价函数的图形是一个较为均匀的“碗”状，而迭代过程中梯度近乎沿直线朝最小值下降，路径较短，迭代次数较少，从而节省时间。但如果没有进行特征取值范围归一化，且不同特征间取值范围相差很大的话，则代价函数的图形如右图所示的一个拉长的“碗”状（对于取值范围小的那些特征，只有当它们对应的参数变化量很大时，才能使代价函数有较明显的变化；对于取值范围大的那些特征，当它们对应的参数变化量不大时，就能使代价函数有较明显的变化，因此，特征取值范围不同将造成参数取值范围不同），而迭代过程中梯度沿着类似“L”形（即先竖直再水平）的路径朝最小值下降，路径较长，迭代次数较多，耗时长。

图3. “特征归一化”对梯度下降法的影响。

2.3.1 Batch GD

下面的问题是如何计算公式（7）中的梯度向量${\nabla }_{\mathbf{\theta }}J(\mathbf{\theta })$。函数$f(x_1,x_2,\dots ,x_n)$的梯度计算公式为

$$\nabla f=\left[\begin{array}{c}\frac{\partial }{\partial x_1}f\\ \frac{\partial }{\partial x_2}f\\ ⋮\\ \frac{\partial }{\partial x_n}f\end{array}\right].$$

因此，代价函数的梯度计算公式为

$${\nabla }_{\mathbf{\theta }}J(\mathbf{\theta })=\left[\begin{array}{c}\frac{\partial }{\partial {\theta }_0}J(\mathbf{\theta })\\ \frac{\partial }{\partial {\theta }_1}J(\mathbf{\theta })\\ ⋮\\ \frac{\partial }{\partial {\theta }_n}J(\mathbf{\theta })\end{array}\right].(8)$$

从公式（3）可以计算$J(\mathbf{\theta })$相对于${\theta }_j(j=0,1,2,\dots ,n)$的偏导数：

$$\begin{gathered} \frac{\partial }{\partial {\theta }_j}J(\mathbf{\theta })=\frac{\partial }{\partial {\theta }_j}\left[\frac{1}{m}\sum _{i=1}^m{\left({\mathbf{\theta }}^T{\text{x}}^{(i)}-y^{(i)}\right)}^2\right] \\ =\frac{\partial }{\partial {\theta }_j}\left[\frac{1}{m}\sum _{i=1}^m{\left({\theta }_0{x}_0^{(i)}+{\theta }_1{x}_1^{(i)}+\cdots +{\theta }_j{x}_j^{(i)}+\cdots +{\theta }_n{x}_n^{(i)}-y^{(i)}\right)}^2\right] \\ =\frac{1}{m}\sum _{i=1}^{m}2\left({\theta }_0{x}_0^{(i)}+{\theta }_1{x}_1^{(i)}+\cdots +{\theta }_j{x}_j^{(i)}+\cdots +{\theta }_n{x}_n^{(i)}-y^{(i)}\right)x_j^{(i)} \\ =\frac{2}{m}\sum _{i=1}^m\left({\mathbf{\theta }}^T{\text{x}}^{(i)}-y^{(i)}\right)x_j^{(i)}.(9) \end{gathered}$$

将公式（9）的结果带入公式（8）得到梯度向量：

$$\begin{gathered} {\nabla }_{\mathbf{\theta }}J(\mathbf{\theta })=\left[\begin{array}{c}\frac{\partial }{\partial {\theta }_0}J(\mathbf{\theta })\\ \frac{\partial }{\partial {\theta }_1}J(\mathbf{\theta })\\ ⋮\\ \frac{\partial }{\partial {\theta }_n}J(\mathbf{\theta })\end{array}\right]=\frac{2}{m}\left[\begin{array}{c}{\sum }_{i=1}^m\left({\mathbf{\theta }}^T{\text{x}}^{(i)}-y^{(i)}\right)x_0^{(i)}\\ {\sum }_{i=1}^m\left({\mathbf{\theta }}^T{\text{x}}^{(i)}-y^{(i)}\right)x_1^{(i)}\\ ⋮\\ {\sum }_{i=1}^m\left({\mathbf{\theta }}^T{\text{x}}^{(i)}-y^{(i)}\right)x_n^{(i)}\end{array}\right] \\ =\frac{2}{m}\left[\begin{array}{c}\left[x_0^{(1)},x_0^{(2)},\dots ,x_0^{(m)}\right]\left[\begin{array}{c}{\mathbf{\theta }}^T{\text{x}}^{(1)}-y^{(1)}\\ {\mathbf{\theta }}^T{\text{x}}^{(2)}-y^{(2)}\\ ⋮\\ {\mathbf{\theta }}^T{\text{x}}^{(m)}-y^{(m)}\end{array}\right]\\ \left[x_1^{(1)},x_1^{(2)},\dots ,x_1^{(m)}\right]\left[\begin{array}{c}{\mathbf{\theta }}^T{\text{x}}^{(1)}-y^{(1)}\\ {\mathbf{\theta }}^T{\text{x}}^{(2)}-y^{(2)}\\ ⋮\\ {\mathbf{\theta }}^T{\text{x}}^{(m)}-y^{(m)}\end{array}\right]\\ ⋮\\ \left[x_n^{(1)},x_n^{(2)},\dots ,x_n^{(m)}\right]\left[\begin{array}{c}{\mathbf{\theta }}^T{\text{x}}^{(1)}-y^{(1)}\\ {\mathbf{\theta }}^T{\text{x}}^{(2)}-y^{(2)}\\ ⋮\\ {\mathbf{\theta }}^T{\text{x}}^{(m)}-y^{(m)}\end{array}\right]\end{array}\right] \\ =\frac{2}{m}\left[\begin{array}{cccc}{x}_0^{(1)}& x_0^{(2)}& \dots & x_0^{(m)}\\ x_1^{(1)}& x_1^{(2)}& \dots & x_1^{(m)}\\ & & ⋮& \\ x_n^{(1)}& x_n^{(2)}& \dots & x_n^{(m)}\end{array}\right]\left[\begin{array}{c}{\mathbf{\theta }}^T{\text{x}}^{(1)}-y^{(1)}\\ {\mathbf{\theta }}^T{\text{x}}^{(2)}-y^{(2)}\\ ⋮\\ {\mathbf{\theta }}^T{\text{x}}^{(m)}-y^{(m)}\end{array}\right] \\ =\frac{2}{m}\left[\begin{array}{cccc}{x}_0^{(1)}& x_0^{(2)}& \dots & x_0^{(m)}\\ x_1^{(1)}& x_1^{(2)}& \dots & x_1^{(m)}\\ & & ⋮& \\ x_n^{(1)}& x_n^{(2)}& \dots & x_n^{(m)}\end{array}\right]\left[\begin{array}{c}{\mathbf{\theta }}^T{\text{x}}^{(1)}-y^{(1)}\\ {\mathbf{\theta }}^T{\text{x}}^{(2)}-y^{(2)}\\ ⋮\\ {\mathbf{\theta }}^T{\text{x}}^{(m)}-y^{(m)}\end{array}\right] \\ =\frac{2}{m}\left[\begin{array}{cccc}{x}_0^{(1)}& x_0^{(2)}& \dots & x_0^{(m)}\\ x_1^{(1)}& x_1^{(2)}& \dots & x_1^{(m)}\\ & & ⋮& \\ x_n^{(1)}& x_n^{(2)}& \dots & x_n^{(m)}\end{array}\right]\left(\left[\begin{array}{cccc}{x}_0^{(1)}& x_1^{(1)}& \dots & x_n^{(1)}\\ x_0^{(2)}& x_1^{(2)}& \dots & x_n^{(2)}\\ & & ⋮& \\ x_0^{(m)}& x_1^{(m)}& \dots & x_n^{(m)}\end{array}\right]\left[\begin{array}{c}{\theta }_0\\ {\theta }_1\\ ⋮\\ {\theta }_n\end{array}\right]-\left[\begin{array}{c}{y}^{(1)}\\ y^{(2)}\\ ⋮\\ y^{(m)}\end{array}\right]\right) \\ =\frac{2}{m}{\text{X}}^T\left(\text{X}\mathbf{\theta }-\mathbf{y}\right)(10) \end{gathered}$$

因此，通过随机选择$\mathbf{\theta }$的初始值，并将公式（10）带入公式（7）就可以通过迭代求解出参数向量的估计值$\hat{\mathbf{\theta }}$，从而完成线性回归模型的训练。

由于每次迭代都需要重新计算一次梯度向量${\nabla }_{\mathbf{\theta }}J(\mathbf{\theta })$，而从公式（10）可以看出每次梯度向量的计算都要使用全部训练样本集$\text{X}$，这种梯度计算方法称为Batch GD（批量梯度下降）。

Batch GD算法的优点在于：

• 当样本的特征的数量很多时（比如线性回归模型的样本有几十万种特征），基于梯度下降法的模型训练比基于闭式解/解析解的模型训练更省时。
• 由于使用了全部训练样本集，从而削弱了样本之间的差异性或降低了样本误差的影响（类似于求平均值降低误差影响），使得迭代中梯度值的变化比较平滑且一致性较好，最终能够非常接近最小值点，如图4所示。

Batch GD方法的缺点在于：

• 当全部训练样本集很大时，梯度的计算量很大，很耗时。
• 当全部训练样本集不能全部放入内存时，Batch GD方法无法使用。

图4. 二维参数空间中Batch GD算法迭代收敛示意图。

Batch GD算法的收敛速率（convergence rate）:当代价函数是凸函数且其斜率没有突变（比如MSE代价函数）的情况下，使用固定学习率$\eta$的Batch GD算法的收敛速率为$O\left(\frac{1}{\text{迭代次数}}\right)$，即当你将容许度$ϵ$设置为原值的$\frac{1}{10}$（提升估计精度），则算法的迭代次数将比原来多10倍。

2.3.2 Stochastic GD

不同于Batch GD算法使用全部训练样本集数据（一个极端）来计算梯度，Stochastic GD（随机梯度下降）算法仅随机选取一个训练样本数据（另一个极端）来计算梯度。因此，随机梯度下降算法的计算复杂度大幅度降低。

假设从训练样本集中随机选取第$k$个样本，则偏导数计算结果就变为

$$\frac{\partial }{\partial {\theta }_j}J(\mathbf{\theta })=\frac{\partial }{\partial {\theta }_j}{\left({\mathbf{\theta }}^T{\text{x}}^{(k)}-y^{(k)}\right)}^2=2\left({\mathbf{\theta }}^T{\text{x}}^{(k)}-y^{(k)}\right)x_j^{(k)}.(11)$$

对比公式（9）和（11），发现公式（11）就是公式（9）中仅使用第$k$个样本的形式。

将（11）式带入公式（8）得到梯度向量为

$$\begin{gathered} {\nabla }_{\mathbf{\theta }}J(\mathbf{\theta })=\left[\begin{array}{c}\frac{\partial }{\partial {\theta }_0}J(\mathbf{\theta })\\ \frac{\partial }{\partial {\theta }_1}J(\mathbf{\theta })\\ ⋮\\ \frac{\partial }{\partial {\theta }_n}J(\mathbf{\theta })\end{array}\right]=2\left[\begin{array}{c}\left({\mathbf{\theta }}^T{\text{x}}^{(k)}-y^{(k)}\right)x_0^{(k)}\\ \left({\mathbf{\theta }}^T{\text{x}}^{(k)}-y^{(k)}\right)x_1^{(k)}\\ ⋮\\ \left({\mathbf{\theta }}^T{\text{x}}^{(k)}-y^{(k)}\right)x_n^{(k)}\end{array}\right] \\ =2\left[\begin{array}{c}{x}_0^{(k)}\\ x_1^{(k)}\\ ⋮\\ x_n^{(k)}\end{array}\right]\left({\mathbf{\theta }}^T{\text{x}}^{(k)}-y^{(k)}\right)=2{\text{x}}^{(k)}\left({{\text{x}}^{(k)}}^T\mathbf{\theta }-y^{(k)}\right).(12) \end{gathered}$$

对比公式（10）和（12），发现公式（12）就是公式（10）中仅使用第$k$个样本的形式。

通过将（12）式带入公式（7）就实现了参数向量$\mathbf{\theta }$的迭代求解。

Stochastic GD算法的优点在于：

• 每次迭代仅使用一个样本计算梯度，计算量很小。
• 当全部训练样本集无法全部放入内存，需要使用out-of-core算法时或需要使用在线训练（online training）时，可以使用Stochastic GD算法。

另一方面，Stochastic GD算法的缺点在于：

• 由于每次迭代仅随机选取一个样本计算梯度，因而单一样本的随机性将体现出来或单一样本的误差将显现出来，从而使迭代中梯度的变化比较跳跃，不能很好地收敛到最小值点（在最小值点附近跳跃），如图5所示（对比图4）。

图5. 二维参数空间中Stochastic GD算法迭代收敛示意图。

这种“跳跃性”带来了一个好处，它可能能够帮助梯度下降算法从局部极小值点跳出，从而最终达到全局最小值点。一种比较好的策略是：先将学习率$\eta$设置为较大值，从而帮助避免陷入局部极小值；再将学习率$\eta$逐步降低，从而使算法收敛于全局最小值附近很小的一个区域中，从而达到较为精确的参数向量估计值$\hat{\mathbf{\theta }}$，这种方法称为模拟退火（simulated anneling），而学习率$\eta$的调整方法称为学习安排（learning schedule），其具体方法不在本文做介绍。

2.3.3 Mini-Batch GD

Mini-Batch GD算法介于Batch GD算法和Stochastic GD算法之间，是一种比较折中的方法，它每次都随机选取一部分训练样本（称为mini-batch）来计算梯度。

为了表示方便且不失一般性，假设从训练样本集中随机选取第$k$到第$k+l$个样本，则根据公式（10）和（12）的形式容易写出梯度为

$${\nabla }_{\mathbf{\theta }}J(\mathbf{\theta })=\frac{2}{l+1}{\text{X}}_{\ast }^T\left({\text{X}}_{\ast }\mathbf{\theta }-{\mathbf{y}}_{\ast }\right)(13)$$

其中，

$${\text{X}}_{\ast }=\left[\begin{array}{cccc}{x}_0^{(k)}& x_1^{(k)}& \dots & x_n^{(k)}\\ x_0^{(k+1)}& x_1^{(k+1)}& \dots & x_n^{(k+1)}\\ ⋮& ⋮& ⋮& ⋮\\ x_0^{(k+l)}& x_1^{(k+l)}& \dots & x_n^{(k+l)}\end{array}\right]，$$
$${\mathbf{y}}_{\ast }={\left[y^{(k)},y^{(k+1)},\dots ,y^{(k+l)}\right]}^T.$$

通过将（13）式带入公式（7）就实现了参数向量$\mathbf{\theta }$的迭代求解，从而完成了线性回归模型的训练。

Mini-Batch GD算法的优点在于：

• 可以使用硬件优化矩阵计算（尤其是使用GPU）提升算法性能。
• 相比Stochastic GD算法，Mini-Batch GD算法梯度迭代一致性稍好，如图6所示。
• 和Stochastic GD算法类似，Mini-Batch GD算法同样也可以使用模拟退火和学习安排技术提升估计精度。

Mini-Batch GD算法的缺点在于：相比于Stochastic GD算法，Mini-Batch GD算法可能更难跳出局部极小值点。

图6. 二维参数空间中三种算法迭代收敛仿真图。

2.4 小结

表1对线性归回模型的训练算法进行了小结和对比。

表1. 线性回归模型的训练算法对比。

算法	计算速度（$m$值很大）	Out-of-core	计算速度（$n$值很大）	超参数量	特征归一化	Scikit-Learn函数
正规方程	快	不支持	慢	0	不需要	n/a
“伪逆”	快	不支持	慢	0	不需要	LinearRegression
Batch GD	慢	不支持	快	2	需要	n/a
Stochastic GD	快	支持	快	$\ge$ 2	需要	SGDRegressor
Mini-Batch GD	快	支持	快	$\ge$ 2	需要	n/a

3.线性回归模型的预测

虽然线性回归模型的训练方法不同，但训练得到的模型结果是类似的。当线性回归模型训练好后，其预测过程十分简单：只需要将待预测样本的特征向量带入公式（1）或（2）就可计算出预测值，其预测过程的计算复杂度是$O(n)$和$O(m)$，十分高效。

4.总结

本文系统介绍了线性回归模型的表示、训练和预测，其中模型训练可以采用数学闭式解/解析解和梯度下降两种方法完成，文中分析了不同方法的优缺点和适用场合。虽然线性回归模型是一种最简单的机器学习模型，但对其深入理解有助于神经网络模型的理解、建模和训练。

参考资料

[1]. A. Géron, Hands-On Machine Learning with Scikit-Learn & TensorFlow. CA: O’Reilly Media Inc., 2017.
[2]. https://github.com/ageron/handson-ml/issues/184
[3]. G. Strang, Introduction to Linear Algebra, 3rd ed. . MA: Wellesley-Cambridge Press, 2003.