Coursera Machine Learning 课程笔记之第二周:梯度下降详解

第二周:梯度下降详解

特征缩放(Feature Scaling)和均值归一化(Mean normalization):

就是对于每一个类型的数据做处理:

xumax(x)min(x)

除以他们的范围是特征缩放,目的是让Cost Function更为规则(在二维的情况下是一个正圆,三维是是一个正球…),越规正的图像越有一个固定的梯度下降方向越容易收敛。

学习速率(Learning Rate):

α 的取值就决定了学习速率,过大会不收敛,过小会收敛速率慢。通常需要 0.0001,0.0003,0.001,0.003.... 这样每次扩大三倍来找这个最优值。
在判断是否已经收敛到当前极小值的时候通常可以用自动收敛测试(Automatic convergence test)算法来检测,当然也可以直接观察图像(plot).

多项式回归分析(Polynomial Regression):

在做回归分析的时候,线性函数往往都不是最优的模型,所以有时候我们会观察数据,以给设定一个多项式的模型是Cost Function的值尽可能的小。在设定为多项式函数模型的时候要尤其注意特征缩放(Feature Scaling),让该数据在 n 次之后的范围在1左右。
比如对于一个 x 它的范围是 [1,1000] ,那么它在特征缩放的时候就该除以 1000

正规方程(Normal Equation):

就是通过求解一个线性方程组的方法来得到这些未知参数。

θ=(xTx)1xy

可以说在特征向量的维度小于( 104 )的时候正规方程法是比,梯度下降(Gradient Descent)更优秀的方法,但是数据量过大它的复杂度会太高。

你可能感兴趣的:(机器学习)