梯度下降法and随机梯度下降法

1. 梯度下降法

梯度下降法的原理可以参考：斯坦福机器学习第一讲。

我实验所用的数据是100个二维点。

如果梯度下降算法不能正常运行，考虑使用更小的步长(也就是学习率)，这里需要注意两点：

1）对于足够小的,  能保证在每一步都减小；
2）但是如果太小，梯度下降算法收敛的会很慢；

总结：
1）如果太小，就会收敛很慢；
2）如果太大，就不能保证每一次迭代都减小，也就不能保证收敛；
如何选择-经验的方法：
..., 0.001, 0.003, 0.01, 0.03, 0.1, 0.3, 1...
约3倍于前一个数。

matlab源码：

function [theta0,theta1]=Gradient_descent(X,Y);
theta0=0;
theta1=0;
t0=0;
t1=0;
while(1)
    for i=1:1:100 %100个点
        t0=t0+(theta0+theta1*X(i,1)-Y(i,1))*1;
        t1=t1+(theta0+theta1*X(i,1)-Y(i,1))*X(i,1);
    end
    old_theta0=theta0;
    old_theta1=theta1;
    theta0=theta0-0.000001*t0 %0.000001表示学习率
    theta1=theta1-0.000001*t1
    t0=0;
    t1=0;
    if(sqrt((old_theta0-theta0)^2+(old_theta1-theta1)^2)<0.000001) % 这里是判断收敛的条件，当然可以有其他方法来做
        break;
    end
end

2. 随机梯度下降法

随机梯度下降法适用于样本点数量非常庞大的情况，算法使得总体向着梯度下降快的方向下降。

matlab源码：

function [theta0,theta1]=Gradient_descent_rand(X,Y);
theta0=0;
theta1=0;
t0=theta0;
t1=theta1;
for i=1:1:100
    t0=theta0-0.01*(theta0+theta1*X(i,1)-Y(i,1))*1
    t1=theta1-0.01*(theta0+theta1*X(i,1)-Y(i,1))*X(i,1)
    theta0=t0
    theta1=t1
end