多元线性回归模型和最小二乘法

为了加深映像，将笔记记录在此

P元线性模型为：

为了求参数我们的目标是让误差平方和最小

对各个参数求偏导

可得到正规方程组

写成矩阵形式为

从而得到参数的解

Python 代码实现：

import numpy as np

def loadDataSet(fileName):
    dataMat=[]
    labelMat=[]
    fr=open(fileName)
    for line in fr.readlines():
        curLine=line.strip().split('\t')
        dataMat.append(list(map(float,curLine[:-1])))
        labelMat.append(float(curLine[-1]))
    return dataMat,labelMat

def standRegress(xArr,yArr):
    xMat=np.mat(xArr)
    yMat=np.mat(yArr).T
    xTx=xMat.T*xMat
    if np.linalg.det(xTx)==0.0:

        return
    ws=xTx.I*(xMat.T*yMat)
    return ws

xArr,yArr=loadDataSet("ex0.txt")
ws=standRegress(xArr,yArr)

数据集的样是为：

通常还可以用梯度下降算法来求参数的值。

上面的数据来源于《 机器学习实战》

原文地址：http://blog.csdn.net/sinat_16233463/article/details/37363183