吴恩达机器学习笔记5——多变量线性回归

第5章 多变量线性回归

1，多功能

2，多元梯度下降法（Gradient Descent for Multiple variabls）

Hypothesis假设：

Parameters参数：

          n+1维向量

Cost function 代价函数：

Gradient descent:

Repeat{

}

每一个j=0,...,n同时更新

3,特征缩放（feature scaling）

如上图，进行梯度下降法，可能要来来回回很多步之后才能到达最优点。

所以可以进行特征缩放，让x1x2的范围足够接近，减少求解步数。

均值归一化，通用的公式，

是x1平均值，s1是x1最大值减最小值，求得范围，也可以用标准差。

这些缩放不用特别精确，目的只是为了加快运行速度。

4，学习率（如何进行调试，如何选择学习率）

很难判断需要多少步收敛，所以经常画出代价函数的曲线来看是否收敛。

取学习率，太大不收敛，太小就太慢

可以多取几个学习率，比如按3的倍数取，逐个试，找到太大和太小的学习率。

取最大可能值，或比最大值略小的。

5，特征和多项式回归（polynomial regression）

观察后觉得，直线不能很好地拟合。采用多项式来拟合。

在多项式拟合情况下，要注意特征缩放，否则特征的范围容易有很大差别。

多项式拟合的模型有多种。

6，正规方程（区别于迭代解法的直接解法）Normal equation

正规方程推导见：https://blog.csdn.net/chenlin41204050/article/details/78220280

最速下降法

优点：在特征变量很多的情况下也能运行很好；

           n远大于10^4时，选取它快一些。

缺点：需要选择最优学习率；

           需要迭代多次。

正规方程法：

优点：不需要选择最优学习率；

           不需要迭代多次。不用画J曲线。

缺点：需要计算，是一个n*n的矩阵，实现的代价以矩阵纬度的三次方增涨，

           因此n很大时，计算速度很慢。n小于10^4可以采用。

6，正规方程在矩阵不可逆情况下的解决方法

Octave中，pinv是伪逆，inv是逆。即使不可逆，pinv也可以运行。

出现不可逆，往往有两种原因，一个是有多余的特征值，比如x1和x2是有线性关系的，可以删除多余特征。

另一个是有太多的特征值，比训练样本还要多，可以去掉一些特征值，或者使用正则化的方法。