利用线性回归器LinearRegression/SGDRegressor进行回归预测(复习7)
本文是个人学习笔记，内容主要涉及“基于解析方法估计参数的LinearRegression”和“基于随机梯度下降法估计参数的SGDRegressor”对boston数据集进行线性回归拟合和预测。
当根据数据建模和预测时，如果待预测的目标是连续变量，即为回归问题。回归问题学习时，优化的目标是最小化预测结果与真实值之间的差异，通过优化算法学习到模型参数。预测时，不能苛求回归预测的数值结果要严格地与真实值相同，需要衡量预测值与真实值之间的差距，可以通过MSE、MAE、R-squared等多种评价函数进行评价。
MAE： yi 是第 i 个样本的真实值， y^i 是第 i 个样本的预测值
MAE(y,y^)=1N∑i=1N|yi−y^i|
MSE： yi 是第 i 个样本的真实值， y^i 是第 i 个样本的预测值
MSE(y,y^)=1N∑i=1N(yi−y^i)2
R-squared： yi 是第 i 个样本的真实值， y^i 是第 i 个样本的预测值， y¯ 是所以样本真实值的均值
R2(y−y^)=1−∑i=1N(yi−y^i)2∑i=1N(yi−y¯)2
from sklearn.datasets import load_boston
boston=load_boston()
print(boston.DESCR) #查看数据描述
import numpy as np
X=boston.data
y=boston.target
print(X.shape,y.shape)
#Output:(506, 13) (506,)from distutils.version import LooseVersion as Version
from sklearn import __version__ as sklearn_version
if Version(sklearn_version) < '0.18':
from sklearn.cross_validation import train_test_split
else:
from sklearn.model_selection import train_test_split
X_train,X_test,y_train,y_test = train_test_split(X, y, test_size=0.25, random_state=33)#分析回归目标取值的一些特性看看房价波动范围,差异过大需要标准化处理
print("The max target value is",np.max(boston.target))
print("The min target value is",np.min(boston.target))
print("The average target value is",np.mean(boston.target))
from sklearn.preprocessing import StandardScaler
ss_X=StandardScaler()
ss_y=StandardScaler()
X_train=ss_X.fit_transform(X_train)
X_test=ss_X.transform(X_test)
y_train=ss_y.fit_transform(y_train.reshape(-1, 1)) #将标签列行向量1维变成列向量2维
y_test=ss_y.transform(y_test.reshape(-1, 1))from sklearn.linear_model import LinearRegression
lr=LinearRegression()
lr.fit(X_train,y_train)
lr_y_predict=lr.predict(X_test)
from sklearn.linear_model import SGDRegressor
sgdr=SGDRegressor()
sgdr.fit(X_train,y_train)
sgdr_y_predict=sgdr.predict(X_test)from sklearn.metrics import r2_score,mean_squared_error,mean_absolute_error
print("The value of default measurement of LinearRegression is",lr.score(X_test,y_test))
print("The value of R_suqared of LinearRegression is",r2_score(y_test,lr_y_predict))
print("The mean squared error of LinearRegression is",
mean_squared_error(ss_y.inverse_transform(y_test),ss_y.inverse_transform(lr_y_predict)))
#inverse_transform是还原实结果
print("The mean absolute error of LinearRegression is",
mean_absolute_error(ss_y.inverse_transform(y_test),ss_y.inverse_transform(lr_y_predict)))
print("The value of default measurement of SGDRegressor is",sgdr.score(X_test,y_test))
print("The value of R_suqared of SGDRegression is",r2_score(y_test,sgdr_y_predict))
print("The mean squared error of SGDRegression is",
mean_squared_error(ss_y.inverse_transform(y_test),ss_y.inverse_transform(sgdr_y_predict)))
print("The mean absolute error of SGDRegression is",
mean_absolute_error(ss_y.inverse_transform(y_test),ss_y.inverse_transform(sgdr_y_predict)))
如果任务的训练数据规模十分庞大，随机梯度下降法无论在分类问题还是回归问题上都表现得很高效，在不损失过多性能的前提下，极大地节省计算时间。sklearn官网建议，训练数据规模超过10万，推荐使用随机梯度法估计参数模型。
在不清楚特征键关系的前提下，可以使用线性回归模型作为基线系统。