吴恩达机器学习笔记5——多变量线性回归

第5章 多变量线性回归

1,多功能

吴恩达机器学习笔记5——多变量线性回归_第1张图片

吴恩达机器学习笔记5——多变量线性回归_第2张图片

吴恩达机器学习笔记5——多变量线性回归_第3张图片

2,多元梯度下降法(Gradient Descent for Multiple variabls)

Hypothesis假设:h_\theta(x)=\theta^Tx=\theta_0x_0+\theta_1x_1+\theta_2x_2+...+\theta_nx_n

Parameters参数:\theta_0,\theta_1,\theta_2,...\theta_n

          n+1维向量\theta

Cost function 代价函数:J(\theta)=\frac{1}{2m}\sum_ {i=1}^{m}(h_\theta(x^{(i)})-y^{i})^2

Gradient descent:

Repeat{

\theta_j:=\theta_j-\alpha\frac{\partial }{\partial\theta_j}J(\theta)

}

每一个j=0,...,n同时更新

吴恩达机器学习笔记5——多变量线性回归_第4张图片

3,特征缩放(feature scaling)

吴恩达机器学习笔记5——多变量线性回归_第5张图片

如上图,进行梯度下降法,可能要来来回回很多步之后才能到达最优点。

所以可以进行特征缩放,让x1x2的范围足够接近,减少求解步数。

吴恩达机器学习笔记5——多变量线性回归_第6张图片

吴恩达机器学习笔记5——多变量线性回归_第7张图片

均值归一化,通用的公式,x_1\rightarrow \frac{x_1-\mu_1}{s_1}

\mu_1是x1平均值,s1是x1最大值减最小值,求得范围,也可以用标准差。

这些缩放不用特别精确,目的只是为了加快运行速度。

4,学习率(如何进行调试,如何选择学习率)

很难判断需要多少步收敛,所以经常画出代价函数的曲线来看是否收敛。

吴恩达机器学习笔记5——多变量线性回归_第8张图片

吴恩达机器学习笔记5——多变量线性回归_第9张图片

吴恩达机器学习笔记5——多变量线性回归_第10张图片

取学习率,太大不收敛,太小就太慢

可以多取几个学习率,比如按3的倍数取,逐个试,找到太大和太小的学习率。

取最大可能值,或比最大值略小的。

5,特征和多项式回归(polynomial regression)

观察后觉得,直线不能很好地拟合。采用多项式来拟合。

吴恩达机器学习笔记5——多变量线性回归_第11张图片

在多项式拟合情况下,要注意特征缩放,否则特征的范围容易有很大差别。

吴恩达机器学习笔记5——多变量线性回归_第12张图片

多项式拟合的模型有多种。

6,正规方程(区别于迭代解法的直接解法)Normal equation

正规方程推导见:https://blog.csdn.net/chenlin41204050/article/details/78220280

吴恩达机器学习笔记5——多变量线性回归_第13张图片

吴恩达机器学习笔记5——多变量线性回归_第14张图片

吴恩达机器学习笔记5——多变量线性回归_第15张图片

最速下降法

优点:在特征变量很多的情况下也能运行很好;

           n远大于10^4时,选取它快一些。

缺点:需要选择最优学习率\alpha

           需要迭代多次。

正规方程法:

优点:不需要选择最优学习率\alpha

           不需要迭代多次。不用画J曲线。

缺点:需要计算(X^TX)^{-1},是一个n*n的矩阵,实现的代价以矩阵纬度的三次方增涨,O(n^3)

           因此n很大时,计算速度很慢。n小于10^4可以采用。

6,正规方程在矩阵不可逆情况下的解决方法

Octave中,pinv是伪逆,inv是逆。即使不可逆,pinv也可以运行。

吴恩达机器学习笔记5——多变量线性回归_第16张图片

吴恩达机器学习笔记5——多变量线性回归_第17张图片

出现不可逆,往往有两种原因,一个是有多余的特征值,比如x1和x2是有线性关系的,可以删除多余特征。

另一个是有太多的特征值,比训练样本还要多,可以去掉一些特征值,或者使用正则化的方法。

 

 

 

你可能感兴趣的:(吴恩达机器学习)