机器学习CS229：lesson1&exercise1

一边打开MATLAB练习题目一“给出身高与年龄的线性关系”，一边看了第一课。

按顺序依次实现了三种最小二乘法求拟合曲线的算法。

算法一、批量梯度下降

J(θ)是向量θ决定的一个面，在这个面上梯度下降找到最低点，这个点对应的θ作为参数的直线使J(θ)最小。每往下走一步更新一次θ的值，每次往下走都要用所有训练样本算一次J(θ)。当m的值巨大时，这种方法非常慢。

算法二、随机梯度下降

每次更新θ值的时候选择一个训练样本。优点是比批量梯度下降快很多，缺点是不能准确到达最低点，需要小心调参数（在这个问题里是alpha），learning rate调不好的话很容易得出奇怪的结果。

alpha=0.01;

theta=[0;0];

j=1;

for counter=1:10000

theta=theta-(alpha*( x(j,:)*theta-y(j,:)  )*x(j,:))'

j=j+1

if(rem(j,50)==0)

j=50

else

j=rem(j,50)

end

end

plot(x(:,2),y,'o')

hold on

plot(x(:,2),x*theta,'-')

算法三、正规方程

不需要使用梯度下降这样的迭代算法来靠近最低点。直接对J（θ）求导，求出使得导数为零的θ。非常快。

>> inv(x'*x)*x'*y

ans =

0.7502

0.0639