线性回归

1. 线性回归的一般形式：

f(x) = theta_0 + theta_1*x1 + theta_2* x2 ... + theta_d *xd

确定theta的值，使得f(x)尽可能接近y值。 均方误差是回归中常用的性能度量。即：J(theta)
通过极大似然估计证明 均方误差的合理性，此处：
因为概率论的丢失，所以此处列上：
1. 独立同分布==随机情况下，出现x的概率相同
2. 最大似然估计和中心极限定理，在我这块是一样的，就是正太分布(大体理解)
3. 其实最终就是证明 线性回归中均方误差的合理性。

2. 线性回归损失函数、代价函数、目标函数

目标函数：最终计算函数
损失函数/代价函数： 现在对我的理解意思差不多。初学者还没有往下深究的时间。

3. 线性回归的优化方法

(1. 梯度下降

(2. 最小二乘法矩阵求解

(3. 牛顿法

(4. 拟牛顿法

4. 评价指标

(1. 均方误差

(2. 均方根误差

(3. 平均绝对误差

(4. R^2: 越接近于1，可解释性越强，模型拟合的效果越好。

5. sklearn参数详解

(1. 调用方法

      lr = sklearn.linear_model.LinearRegression(fit_intercept=True, normalize=False, copy_X=True, n_jobs=1)

(2. 参数介绍

fit_intercept:默认为True,是否计算该模型的截距。如果使用中心化的数据，可以考虑设置为False,不考虑截距。注意这里是考虑，一般还是要考虑截距

normalize: 默认为false. 当fit_intercept设置为false的时候，这个参数会被自动忽略。如果为True,回归器会标准化输入参数：减去平均值，并且除以相应的二范数。当然啦，在这里还是建议将标准化的工作放在训练模型之前。通过设置 sklearn.preprocessing.StandardScaler来实现，而在此处设置为false

copy_X : 默认为True, 否则X会被改写

n_jobs: int 默认为1. 当-1时默认使用全部CPUs ??(这个参数有待尝试)

6. 练习题

自行生成数据
1、首先尝试调用sklearn的线性回归函数进行训练；
2、用最小二乘法的矩阵求解法训练数据；
3、用梯度下降法训练数据；
4、比较各方法得出的结果是否一致。
下面是自行生成的数据

import numpy as np
np.random.seed(34)
x = np.random.rand(500,3)
y = x.dot(np.array([4.2,5.7,10.8]))

然后线性回归预测

import matplotlib.pyplot as plt
from sklearn.linear_model import LinearRegression
# 调用模型
lr = LinearRegression(fit_intercept=True)
# 训练模型
lr.fit(x,y)
print("估计的参数值为：%s" % (lr.coef_))
#计算R平方
print('R2:%s' % (lr.score(x,y)))
#任意设定变量，预测目标值
x_test = np.array([2,4,5]).reshape(1,-1)
y_hat = lr.predict(x_test)
print("预测值为：%s" % (y_hat))

估计的参数值为：[ 4.2  5.7 10.8]
R2:1.0 #R2=1的原因在于：就是按照x/y线性回归计算出来的值
预测值为：[85.2]

最小二乘法：

class LR_LS():
    def __init__(self):
        self.w = None
    def fit(self, X, y):
        # 最小二乘法矩阵求解
        self.w = np.linalg.inv(X.T.dot(X)).dot(X.T).dot(y)
    def predict(self, X):
        # 使用已经拟合的参数值预测新自标量
        y_pred = X.dot(self.w)
        return y_pred

if __name__ == "__main__":
    lr_ls = LR_LS()
    lr_ls.fit(x,y)
    print("预估的参数值为：%s" %(lr_ls.w))
    x_test = np.array([2,4,5]).reshape(1,-1)
    print("预测值为：%s" %(lr_ls.predict(x_test)))

预估的参数值为：[ 4.2  5.7 10.8]
预测值为：[85.2]

梯度下降

class LR_GD():
    def __init__(self):
        self.w = None
    def fit(self, X,y, alpha=0.02, loss = 1e-10): # 设置步长为0.02， 收敛条件为1e-10
        y = y.reshape(-1,1)
        [m,d] = np.shape(X)
        self.w = np.zeros((d))
        tol = 1e5
        while tol>loss:
            h_f = X.dot(self.w).reshape(-1,1)
            theta = self.w + alpha*np.mean(X*(y-h_f), axis=0)
            tol = np.sum(np.abs(theta-self.w))
            self.w = theta
    
    def predict(self, X):
        y_pred = X.dot(self.w)
        return y_pred

if __name__ == "__main__":
    lr_gd = LR_GD()
    lr_gd.fit(x,y)
    print("估计值： %s" % (lr_gd.w))
    x_test = np.array([2,4,5]).reshape(1,-1)
    print("预测值：%s" % (lr_gd.predict(x_test)))

估计值： [ 4.20000001  5.70000003 10.79999997]
预测值：[85.19999995]

线性回归加入噪声

e = np.random.normal(loc=0.5,scale=1.5,size=500)
y1 = x.dot(np.array([4.2,5.7,10.8])) + e

import matplotlib.pyplot as plt
from sklearn.linear_model import LinearRegression
# 调用模型
lr2 = LinearRegression(fit_intercept=True)
# 训练模型
lr2.fit(x,y1)
print("估计的参数值为：%s" % (lr2.coef_))
#计算R平方
print('R2:%s' % (lr2.score(x,y)))
#任意设定变量，预测目标值
x_test = np.array([2,4,5]).reshape(1,-1)
y_hat = lr2.predict(x_test)
print("预测值为：%s" % (y_hat))

估计的参数值为：[ 4.2556063   5.59592042 10.71939964]
R2:0.9741665139199166
预测值为：[85.18282296]

R2为加入噪声之后的结果。

参考：
https://blog.csdn.net/qq_41023125/article/details/105642208