机器学习实验报告——Linear Regression

        机器学习实验报告——Linear Regression 

一、 实验要求

要求用梯度下降法对给定的数据X，Y进行线性拟合。给出迭代次数，拟合曲线。

二、 实验思路

    模型的建立：

       估计函数的假设：

 

其中，X为输入变量，θ为参数。

        假设误差估计函数（error function）为J,我们的目标便是寻找合适的参数θ，使得误差函数J最小化。

 

调整θ以使得J(θ)取得最小值有很多方法，其中有最小二乘法(min square)，梯度下降法（gradient descent）,牛顿法（Newton’s Method）等，每种方法都有各自的优缺点。

三、 梯度下降法 

     在选定线性回归模型后，只需要确定参数θ，就可以将模型用来预测。然而θ需要在J(θ)最小的情况下才能确定。因此问题归结为求极小值问题，使用梯度下降法。梯度下降法最大的问题是求得有可能是全局极小值，这与初始点的选取有关。

  梯度下降法步骤： 

 （1）初始化θ；

 （2）改变θ的值，使得J(θ)按梯度下降的方向进行减少。

     梯度方向由J(θ)对θ的偏导数确定，由于求的是极小值，因此梯度方向是偏导数的反方向。结果为

 

所以θ的更新公式为：

其中a为步长因子，其取值要适中，太小的时收敛速度太慢，太大时有可能跳过最优解。

四、 算法实现

1. 选取参数theta0=0.75 theta1=1.65作为初始值。

2. 步长因子alpha=0.001（以上选取经试验验证有更好的收敛效果）

3. 按照梯度下降算法步骤更新theta值，设置循环次数为500次，当前j值与上一次循环得到的j值的欧式距离小于0.001时认为算法收敛，跳出循环。

4. 带入假设函数可得回归曲线。

五、 试验结果

 

theta0=0.8284

theta1=2.0404

j=0.1457

实际迭代次数4

回归曲线如图：

 

六、 实验代码

   clc;

clear;

load shuju.mat;

plot(X,Y,'.');

hold;

syms theta0 theta1 alpha;

theta0=0.75;

theta1=1.65;

alpha=0.001;

j=0;

for q=1:500

    J=j;

    j=0;

for i=1:21

    j=j+0.5*(theta0+theta1*X(i)-Y(i))^2; 

end

j=j/21;

 if sqrt((j-J)^2)<0.001

        break;

 end

   theta0=theta0-alpha*0.5*(theta0*theta1*X(i)-Y(i));

   theta1=theta1-alpha*0.5*(theta0*theta1*X(i)-Y(i))*X(i); 

end

y=theta0+theta1*X;

plot(X,y)

j 

theta0

theta1

J