多元线性回归编程实现

• 多元线性回归：

现有一个包含m个样本的数据集，其中每一个样本都有n个指标值和一个标签值，现试图寻找一种线性关系（加法或数乘运算），使得每个样本的n个指标值都能对应各自的标签值。此时这n个指标值和对应的标签值都已给出，我们需要考虑的问题就是怎样得到这种关系。
首先我们可以假设线性关系是

$$f(X)=X\omega +b$$

其中矩阵$X$的每一行表示一个样本的指标数据，$b$是常数项，
令$X=(X,1)$，$\omega =(\omega ;b)$ ，则原式变为

$$f(X)=X\omega$$

采用均方误差作为性能度量，并让均方误差最小化，即

$$E({\omega }^{\ast })=argmin(Y-X\omega {)}^T(Y-X\omega )$$

解这个方程可以使用最小二乘法，方程两边同时对$\omega$求导（关于矩阵的求导可以参考），并令结果为零，得到

$$\frac{\partial E({\omega }^{\ast })}{\partial \omega }=-2Y^{T}X+2{\omega }^T{X}^{T}X=0$$

当$X^{T}X$为满秩矩阵时，可得到

$$\omega =(X^{T}X{)}^{-1}{X}^{T}Y$$

最后再代入等式$f(X)=X\omega$即可

• python代码实现如下

class LinearRegression:
    """
        omega： 拟合参数
        fit  ： 训练函数，得到拟合参数
        predict： 预测并输出结果
    """
    def __init__(self):
        pass
        
    def fit(self,x,y):
        xt = np.insert(x,0,1,axis=1)
        self.omega = np.linalg.inv(xt.T.dot(xt)).dot(xt.T).dot(y)

    def predict(self,x):
        try:
            x=np.insert(x,0,1,axis=1)
            return x.dot(self.omega).reshape(-1,1)
        except:
            x=np.insert(x,0,1,axis=0)
            return x.dot(self.omega)