吴恩达机器学习入门——多变量线性回归

假设

假设房价不仅受平方数影响，还受到房间数、年份、楼层数的影响。这样奥预估房价就是一个受多变量影响的问题。

其中x⁽ⁱ⁾为一个列向量，x_j⁽ⁱ⁾为一个列向量中第j个值。这时它的假设函数、代价函数应为下图

这也称为多元线性回归。

多元梯度下降算法

当n>1时，是多个$\theta$值不断更新的。

特征缩放

特征缩放就是确保参数在同样的变化范围内，如下图，房间的平方数为0到2000平方米，房间数是0到5间，若把房间的平方数除于2000，房间数除于5，这样两个参数的变化范围都为0到1，这就是特征缩放。

它的好处是使收敛的速度更快，更快找到最小值，减少算法的迭代次数。此外，我们通常把特征值的范围约束到-1到1。

特征缩放还有一种是均值归一化。用x-u代替x，使得新的x具有0的均值。

正规方程

它是有别于梯度下降算法，可以直接求解$\theta$，不需要多次迭代。为了更好的理解正规方程，我们从最简单的例子出发。如下图，如果$\theta$是一个实数，要直接求出$\theta$的最小值，我们可以直接求导。

但通常$\theta$不是实数，而是一个多维变量。那我们对代价函数求每个$\theta$的偏导也可以得到最小代价函数的$\theta$值。如下图所示。

下面开始介绍正规方程：
其中X为设计矩阵，X的求解过程如下：

优缺点

与梯度下降算法相比，正规方程的求解不需要设定学习率，也不需要多次跌代。
缺点是如果参数数量n比较多，正规方程的求解会比较慢。当n比较大的时候通常选择梯度下降算法。