多变量线性回归

一、多维特征

        目前为止，我们探讨了单变量/特征的回归模型，现在我们对房价模型增加更多的特征，例如房间数、楼层等，构成一个含有多个变量的模型，模型中的特征为。

增添更多特征后，我们引入一系列新的注释：

n 代表特征的数量

代表第 i 个训练实例，是特征矩阵中的第i行，是一个向量（vector）

比方说，上图的

代表特征矩阵中第 i 行的第 j 个特征，也就是第 i 个训练实例的第 j 个特征

如上图的，

支持多变量的假设 h 表示为：

这个公式中有n+1个参数和n个变量，为了使得公式能够更方便计算（后面你就知道了），引入，则公式转化为：

此时模型中的参数是一个n+1维的向量，任何一个训练实例也都是n+1维的向量，特征矩阵X的维度是 m*(n+1)。 因此公式可以简化为：，其中上标T代表矩阵转置（这里假定θ和X都是n+1维的列向量）

二、多变量梯度下降

        与单变量线性回归类似，在多变量线性回归中，我们也构建一个代价函数，则这个代价函数是所有建模误差的平方和，即：，

其中： ，我们的目标和单变量线性回归问题中一样，是要找出使得代价函数最小的一系列参数。

多变量线性回归的批量梯度下降算法为：

即：

求偏导后得到：

当n>=1时：

我们开始随机选择一系列的参数值，计算所有的预测结果后，再给所有的参数一个新的值，如此循环直到收敛。

计算代价函数

其中：

Python 代码：

def computeCost(X, y, theta):
    inner = np.power(((X * theta.T) - y), 2)
    return np.sum(inner) / (2 * len(X))

三、梯度下降法-特征缩放

        在我们面对多维特征问题的时候，我们要保证这些特征都具有相近的尺度，这将帮助梯度下降算法更快地收敛。以房价问题为例，假设我们使用两个特征，房屋的尺寸和房间的数量，尺寸的值为 0-2000平方英尺，而房间数量的值则是0-5，以两个参数分别为横纵坐标，绘制代价函数的等高线图，可以看出图像会显得很扁，梯度下降算法需要非常多次的迭代才能收敛。

解决的方法是尝试将所有特征的尺度都尽量缩放到-1到1之间

如图：

实际情况下采用的方法是令：，其中是输入变量平均值，是输入变量的标准差

四、梯度下降法-学习率

        梯度下降算法收敛所需要的迭代次数根据模型的不同而不同，我们不能提前预知，但是我们可以绘制迭代次数和代价函数的图表来观测算法在何时趋于收敛，如下图

        梯度下降算法的每次迭代受到学习率的影响，如果学习率过小，则达到收敛所需的迭代次数会非常高；如果学习率过大，每次迭代可能会越过局部最小值导致无法收敛。

通常可以考虑尝试些学习率：=0.01，0.03，0.1，0.3，1，3，10，你会发现它们都是每次乘以3进行增加

五、特征和多项式回归

比如还是之前的房价预测问题：

=frontage（临街宽度）

=depth（纵向深度）

=frontage*depth=area（面积）

。

        线性回归并不适用于所有数据，有时我们需要曲线来适应我们的数据，比如一个二次方模型：；或者三次方模型：

通常我们需要先观察数据然后再决定准备尝试怎样的模型。 另外，我们可以令：，从而将模型转化为线性回归模型。

根据函数图形特性，我们还可以使：

或者:

注：如果我们采用多项式回归模型，在运行梯度下降算法前，特征缩放非常有必要。

六、正规方程

        到目前为止，我们都在使用梯度下降算法，但是对于某些线性回归问题，正规方程方法是更好的解决方案。如：

         正规方程是通过求解偏导数为0的点来找出使得代价函数最小的参数的：

         假设我们的训练集特征矩阵为 X（包含了 1）并且我们的训练集结果为向量 y，则利用正规方程解出向量 ， 上标T代表矩阵转置，上标-1 代表矩阵的逆。设矩阵，则：

以下表数据为例：

即：

运用正规方程方法求解参数：

注：对于那些不可逆的矩阵（通常是因为特征之间不独立，如同时包含英尺为单位的尺寸和米为单位的尺寸两个特征，也有可能是特征数量大于训练集的数量），正规方程方法是不能用的。

梯度下降与正规方程的比较：

        总结一下，只要特征变量的数目并不大，标准方程是一个很好的计算参数的替代方法。具体地说，只要特征变量数量小于10000，通常使用正规方程法，而不使用梯度下降法。随着我们学习的学习算法越来越复杂，例如逻辑回归算法实际上并不能使用正规方程法。因此，梯度下降法是一个非常有用的算法，可以用在有大量特征变量的线性回归问题。但对于某个特定的线性回归模型，正规方程法是一个比梯度下降法更快的算法。所以，根据具体的问题以及你的特征变量的数量，这两种算法都是值得学习的。

正规方程的python实现：

import numpy as np
    
 def normalEqn(X, y):
    
   theta = np.linalg.inv(X.T@X)@X.T@y 
    
   return theta