线性回归（标准回归）

今天我们来讨论机器学习的另一个领域---预测；首先我们来讨论利用线性回归来预测数值型数据。利用线性回归进行预测的过程就是求解回归系数的过程，求出回归系数后进行系数与特征值乘积求和即可，这里我们使用最小二乘法进行求解：ex0.txt  （提取码：dbe2）

def loadDataSet(fileName):     
    numFeat = len(open(fileName).readline().split('\t')) - 1 
    dataMat = []; labelMat = []
    fr = open(fileName)
    for line in fr.readlines():
        lineArr =[]
        curLine = line.strip().split('\t')
        for i in range(numFeat):
            lineArr.append(float(curLine[i]))
        dataMat.append(lineArr)
        labelMat.append(float(curLine[-1]))
    return dataMat,labelMat

def standRegres(xArr,yArr):
    xMat = mat(xArr); yMat = mat(yArr).T
    xTx = xMat.T*xMat
    if linalg.det(xTx) == 0.0:
        print "This matrix is singular, cannot do inverse"
        return
    ws = xTx.I * (xMat.T*yMat)
    return ws

这里第一个函数和前面功能一样，从文件中读取数据。返回一个属性列表和一个标签列表。第二个函数进行求解回归系数，首先将输入参数转换成矩阵，输入参数分别为属性列表和标签列表。然后将属性矩阵与属性矩阵的转置矩阵相乘，这里得进行判断乘积得出的矩阵是否可逆，如果可逆的话就将求逆后的矩阵与标签矩阵和属性矩阵的转置矩阵相乘得出回归系数。