吴恩达机器学习视频笔记——梯度下降简化技巧

 

 

房价预测

 

吴恩达机器学习视频笔记——梯度下降简化技巧_第1张图片

多个因素作用下,即θ有多个的情况下,如何得到假设函数。

第二行的训练样本,用矩阵进行表示如下:

吴恩达机器学习视频笔记——梯度下降简化技巧_第2张图片

同样,假设函数在4个变量的情况下,其表示方法为:

有n个因素作用的情况下(即默认X0 = 1):

 

吴恩达机器学习视频笔记——梯度下降简化技巧_第3张图片

如上所示,多输入变量的假设函数可以由两个矩阵相乘表示,一个矩阵表示变量,另外一个矩阵表示假设函数的系数

 

 

表达式基本不变,但为了区别输入变量,即x是一个还是多个,我们规定x的上坐标表示第几个变量,下坐标为1时代表计算的输入变量即x的个数为1,同时,相应的,微分方程也有了一定程度的更新:(如下图所示)

吴恩达机器学习视频笔记——梯度下降简化技巧_第4张图片

圈出的部分为作者求出的偏导数的表达式

 

特征缩放:

房价预测案例

吴恩达机器学习视频笔记——梯度下降简化技巧_第5张图片

当两个输入变量的值之间相差太大时:

              在不考虑θ的情况下,代价函数如上图所示,即是一个伸长的椭圆,宽度远小于其长度,在这种情况下进行梯度下降算法,路径如上图所示,即来回振荡,这样的情况下,所耗费的时间就比较长。因此,通过适当的对输入变量进行缩放,就能极大的增加其效率。   

吴恩达机器学习视频笔记——梯度下降简化技巧_第6张图片

如上图所示,将两个变量进行一定程度的缩放后,其更容易得到我们想要的结果。

最佳输入变量的取值范围为[-1,1]因此,进行特征缩放的时候,大概在接近[-1,1]的方向进行,取值范围太小或太大都不太恰当。

吴恩达机器学习视频笔记——梯度下降简化技巧_第7张图片

如上图所示,尽量让取值范围的平均值接近于0,同时可以注意到一点就是得到的结果里面X2取值范围的精确值并不为[0.5,0.5],不过适当的增删无伤大雅。

 

梯度下降过程中的实用性技巧

①如何选择学习率(α

吴恩达机器学习视频笔记——梯度下降简化技巧_第8张图片

横坐标:迭代步数

纵坐标:代价值

每走一步,代价值都会降低,为了保证达到最低代价值(不要越过它),恰当的学习率是十分必要的。

 

吴恩达机器学习视频笔记——梯度下降简化技巧_第9张图片

当代价值随着每一步增加,则说明学习率需要进行适当的减小

 

吴恩达机器学习视频笔记——梯度下降简化技巧_第10张图片

当发生如上情况, 步数和代价值的变化规律如下图,说明你的学习率太多了,建议适当减小学习率(同时检查代码是否有bug)

 

吴恩达机器学习视频笔记——梯度下降简化技巧_第11张图片


吴恩达机器学习视频笔记——梯度下降简化技巧_第12张图片

同时,学习率不能过小,太小的学习率梯度下降会非常非常非常的缓慢。

 

建议学习率选择如下:

0.0000001,……,0.01,0.03,0.1,0.3,1,3……

 

变量简化:

吴恩达机器学习视频笔记——梯度下降简化技巧_第13张图片

 

如图所示,有两个变量占有土地的宽度和深度,我们可以选择不使用这两个变量,而是创造一个名为面积的变量,这样就只有一个变量,在我们的假设函数当中。

吴恩达机器学习视频笔记——梯度下降简化技巧_第14张图片

在这个图中,为了考虑多种回归模型,我们可以将x2 = x1²             x3 = x1³(注意输入变量的取值范围,即缩放特征),但需要注意的满足上述条件的后期随着面积的增加价格会下降,显然现实生活中并不存在这样的好事,因此可以考虑平方项,至于到底应该选择哪种表达式,后续会进行相关的学习。

你可能感兴趣的:(学习,机器学习)