Java实现线性回归模型算法

今天跟大家一起学习机器学习比较简单的一个算法，也就是线性回归算法。

让我们通过一个例子开始：这个例子就是预测住房价格的，我们要使用一个数据集，数据集包含一个地方的住房价格，这里我们要根据不同房屋尺寸所售出的价格，画出我们的数据集，比方说，如果你朋友的房子是1250平方尺大小，你要告诉他这个房子能卖多少钱。那么，你可以做的一件事就是构建一个模型，也许是条直线，从这个数据模型上来看，也许你可以告诉你的朋友，他能以大约220000（美元）左右的价格卖掉这个房子。这就是监督学习算法的一个例子。

它被称作监督学习是因为对于每个数据来说，我们给出了“正确的答案”，即告诉我们：根据我们的数据来说，房子实际的价格是多少，而且，更具体来说，这是一个回归问题。回归一词指的是，我们根据之前的数据预测出一个准确的输出值，对于这个例子就是价格。同时，还有另外一种最常见的监督学洗方式，叫做分类问题，当我们想要预测离散的输出值，例如，我们正在薛兆癌症肿瘤，并想要确定肿瘤是良性还是恶性的，这就是0/1离散输出的问题。更近一步说，在监督学习中我们有一个数据集，这个数据集被称作是训练集。

下面就是实现一元线性回归模型的Java版本的代码，其中绘制数据集，和绘制回归模型使用的是JfreeChart,核心代码如下：

package cn.rocket.ml;


import java.io.IOException;
import java.util.ArrayList;
import java.util.List;

import cn.rocket.data.DataSet;
import cn.rocket.utils.ScatterPlot;

public class LinearRegression {

    private double theta0 = 0.0 ;  //截距
    private double theta1 = 0.0 ;  //斜率
    private double alpha = 0.01 ;  //学习速率

    private int max_itea = 20000 ; //最大迭代步数

    private DataSet dataSet = new DataSet() ;

    public  LinearRegression() throws IOException{
        dataSet.loadDataFromTxt("datas/house_price.txt", ",",1);
    }


    public double predict(double x){
        return theta0+theta1*x ;
    }

    public double calc_error(double x, double y) {
        return predict(x)-y;
    }



    public void gradientDescient(){
        double sum0 =0.0 ;
        double sum1 =0.0 ;

        for(int i = 0 ; i < dataSet.getSize() ;i++) {
            sum0 += calc_error(dataSet.getDatas().get(i).get(0), dataSet.getLabels().get(i)) ;
            sum1 += calc_error(dataSet.getDatas().get(i).get(0), dataSet.getLabels().get(i))*dataSet.getDatas().get(i).get(0) ;
        }

        this.theta0 = theta0 - alpha*sum0/dataSet.getSize() ; 
        this.theta1 = theta1 - alpha*sum1/dataSet.getSize() ; 

    }

    public void lineGre() {
        int itea = 0 ;
        while( itea< max_itea){
            //System.out.println(error_rate);
            System.out.println("The current step is :"+itea);
            System.out.println("theta0 "+theta0);
            System.out.println("theta1 "+theta1);
            System.out.println();
            gradientDescient();
            itea ++ ;
        }
    } ;

    public static void main(String[] args) throws IOException {
        LinearRegression linearRegression = new LinearRegression() ;
        linearRegression.lineGre();
        List list = new ArrayList() ;

        for(int i = 0 ; i < linearRegression.dataSet.getSize() ;i++) {
            list.add(linearRegression.dataSet.getDatas().get(i).get(0));
        }


        ScatterPlot.data("Datas", list, linearRegression.dataSet.getLabels(),linearRegression.theta0,linearRegression.theta1);

    }

}

这段代码值得我们注意的问题有很多，一个是学习步长alpha的设置，如果设置的太大最后结果会无法收敛，但是如果设置的太小训练会非常缓慢。

下面是结果，我们可以看到，散点图是训练数据，红色的直线表示我们训练出来的一元线性模型，我们可以看出该模型能对训练数据做一个较好的线性拟合。

该项目的项目源码我已经放在GitHub上。项目地址：https://github.com/ShengPengYu/MachineLearning