（MATLAB）使用梯度下降进行一元线性回归

使用梯度下降进行一元线性回归

Step1：选择函数模型：y=wx+b
Step2：选择损失函数：

Step3：

Step4：根据公式：

来更新w和b，最终得到最优解。

梯度下降函数代码如下：

function [ww,bb,ee]=myGradientDes(x,y,w,b,s,n)
%x,y-样本，w-权值初始值，b-偏置项初始值，s-学习率，n-迭代次数
m=length(x);
for i=1:n
    error=1/(2*m).*sum((b+w.*x-y).^2);
    ww(i)=w;
    bb(i)=b;
    ee(i)=error;
    b2=b-s*1/m.*sum((b+w.*x-y)*1);
    w2=w-s*1/m.*sum((b+w.*x-y).*x);
    b=b2;
    w=w2;
end
end

作者使用的是自己收集的身高体重的数据。
设置不同的学习率并打出损失函数和权值随迭代次数的变化曲线，代码如下：

%%设置不同学习率
LRate=[0.0015,0.15,0.3,0.6,1];
color={'r-','b-','y-','c-','m-'};
for i =1:5
  [w,b,e]=myGradientDes(x,y,-2,0,LRate(i),200);
  hold on
  plot(w,color{i});
end
legend('0.0015','0.15','0.3','0.6','1');
xlabel('迭代次数'),ylabel('w');
title('不同学习率下的w变化曲线');
figure
for i =1:5
  [w,b,e]=myGradientDes(x,y,-2,0,LRate(i),200);
  hold on
  plot(e,color{i});
end
legend('0.0015','0.15','0.3','0.6','1');
title('不同学习率下的损失函数值的变化曲线');
xlabel('迭代次数'),ylabel('LossFunction Value');

结果如下图所示

通过上图可以看出，学习率越小，找到最优解时，需要迭代的次数越多，且损失函数的值变化的较为缓慢；当学习率较大时，找到最优解时，需要迭代的次数较少，且损失函数的值变化的较为迅速。