day09——线性回归

一、什么是线性回归

1，定义与公式

定义：线性回归是利用回归方程（函数）对一个或多个自变量（特征值）和因变量（目标值）之间关系进行建模的一种分析方式。应用场景有房价预测、销售额度预测等

例：

期末成绩：0.7 × 考试成绩 + 0.3 × 平时成绩
房子价格 = 0.02 × 中心区域的距离 + 0.04 × 城市一氧化氮浓度 + (-0.12 × 自住房平均房价) + 0.254 × 城镇犯罪率

2，线性回归的特征与目标的关系

线性回归当中的关系有两种，一种是线性关系，另一种是非线性关系。

• 线性关系
  
  
  注：两个特征与目标值呈现平面的关系也是属于线性关系
• 非线性关系
  

二、线性回归的损失和优化原理

以预测房子价格的例子

真实关系：
真实房子价格 = 0.02 × 中心区域的距离 + 0.04 × 城市一氧化氮浓度 + (-0.12 × 自住房平均房价) + 0.254 × 城镇犯罪率
随机指定关系（猜测）：
预测房子价格 = 0.25 × 中心区域的距离 + 0.14 × 城市一氧化氮浓度 + 0.42 × 自住房平均房价 + 0.34 × 城镇犯罪率

从上面可以看出，真实结果与预测的结果之间存在一定的误差，如下图所示

那么就可以用损失函数将这个误差衡量出来

1，损失函数

总损失定义为：

• yi为第 i 个训练样本的真实值
• h(xi)为第i个训练样本特征值组合预测函数

2，优化算法

如何去求模型当中的W，使得损失最小？线性回归经常使用的两种优化算法

• 正规方程
  
  X为特征值矩阵，y为目标值矩阵。直接求到最好的结果，缺点是当特征过多过复杂时，求解速度太慢并且得不到结果
  

• 梯度下降
  
  α为学习速率，需要手动指定（超参数），α旁边的整体表示方向沿着这个函数下降的方向找，最后就能找到山谷的最低点，然后更新W值使用，面对训练数据规模十分庞大的任务 ，能够找到较好的结果
  

梯度下降	正规方程
需要选择学习率	不需要
需要迭代求解	一次运算得出
特征数量较大可以使用	需要计算方程，时间复杂度高O(n3)

三、API

# 正规方程优化
# fit_intercept：是否计算偏置
# LinearRegression.coef_：回归系数
# LinearRegression.intercept_：偏置
sklearn.linear_model.LinearRegression(fit_intercept=True)

# 随机梯度下降优化
# loss：损失类型，”squared_loss”为普通最小二乘法
# fit_intercept：是否计算偏置
"""
learning_rate：学习率
'constant': eta = eta0
'optimal': eta = 1.0 / (alpha * (t + t0)) [default]
'invscaling': eta = eta0 / pow(t, power_t)，power_t = 0.25 存在父类当中
对于一个常数值的学习率来说，可以使用learning_rate=’constant’ ，并使用eta0来指定学习率。
"""
sklearn.linear_model.SGDRegressor(loss="squared_loss", fit_intercept=True, learning_rate ='invscaling', eta0=0.01)

四、实操：波士顿房价预测

1，数据来源：scikit-learn

注：自 1.2 版本起，load_boston 已经从 scikit-learn 中删除，解决方法如下

# 卸载已有的 scikit-learn
pip uninstall scikit-learn
# 安装指定版本 1.1.1 的 scikit-learn
pip install scikit-learn==1.1.1 -i https://pypi.tuna.tsinghua.edu.cn/simple

也可以自行从 boston 房价数据集的网站下载 boston_housing_prices.csv 数据集，再用 pandas 导入

2，数据特征：

注：回归当中数据大小不一致，导致结果影响较大。所以需要做标准化处理。同时对目标值也需要做标准化处理。

3，回归性能评估

均方误差(Mean Squared Error)MSE)评价机制：

y^i为预测值，y¯为真实值

# 均方误差回归损失 API
# y_true：真实值
# y_pred：预测值
sklearn.metrics.mean_squared_error(y_true, y_pred)

4，代码

import sklearn.datasets
from sklearn.preprocessing import StandardScaler
from sklearn.linear_model import LinearRegression
from sklearn.linear_model import SGDRegressor
from sklearn.model_selection import train_test_split
from sklearn.metrics import mean_squared_error

# 获取数据
lb = sklearn.datasets.load_boston()

# 对数据集进行划分
x_train, x_test, y_train, y_test = train_test_split(lb.data, lb.target, test_size=0.3, random_state=24)
      
# 对于特征值标准化处理
std = StandardScaler()
x_train = std.fit_transform(x_train)
x_test = std.transform(x_test)

# 使用线性模型进行预测

# 1,使用正规方程求解
lr = LinearRegression()
lr.fit(x_train, y_train)
y_lr_predict = lr.predict(x_test)
print("正规方程预测的权重参数为" , lr.coef_)
print("正规方程预测的结果为：", y_lr_predict)
print("正规方程的均方误差为：", mean_squared_error(y_test, y_lr_predict))

# 2,使用梯度下降进行预测
sgd = SGDRegressor()
sgd.fit(x_train, y_train)
print("SGD的权重参数为：", sgd.coef_)
# predict 方法用于根据已有的模型预测新的数据
y_sgd_predict = sgd.predict(x_test)
print("SGD的预测的结果为：", y_sgd_predict)
print("SGD的均方误差为：", mean_squared_error(y_test, y_sgd_predict))

在预测过程可以尝试去修改学习率，如下所示，通过调参数，找到学习率效果更好的值。

sgd = SGDRegressor(learning_rate='constant', eta0=0.001)