Coursera Machine Learning 课程笔记之第二周：梯度下降详解

第二周：梯度下降详解

特征缩放(Feature Scaling)和均值归一化(Mean normalization):

就是对于每一个类型的数据做处理：

x−u均max(x)−min(x)

除以他们的范围是特征缩放，目的是让Cost Function更为规则（在二维的情况下是一个正圆，三维是是一个正球…），越规正的图像越有一个固定的梯度下降方向越容易收敛。

学习速率(Learning Rate):

α 的取值就决定了学习速率，过大会不收敛，过小会收敛速率慢。通常需要 0.0001,0.0003,0.001,0.003.... 这样每次扩大三倍来找这个最优值。
在判断是否已经收敛到当前极小值的时候通常可以用自动收敛测试(Automatic convergence test)算法来检测,当然也可以直接观察图像(plot).

多项式回归分析(Polynomial Regression):

在做回归分析的时候，线性函数往往都不是最优的模型，所以有时候我们会观察数据，以给设定一个多项式的模型是Cost Function的值尽可能的小。在设定为多项式函数模型的时候要尤其注意特征缩放(Feature Scaling)，让该数据在 n 次之后的范围在1左右。
比如对于一个 x 它的范围是 [1,1000] ,那么它在特征缩放的时候就该除以 1000‾‾‾‾‾√

正规方程(Normal Equation):

就是通过求解一个线性方程组的方法来得到这些未知参数。

θ=(xT∗x)−1∗x∗y

可以说在特征向量的维度小于( 104 )的时候正规方程法是比，梯度下降(Gradient Descent)更优秀的方法，但是数据量过大它的复杂度会太高。