scikit-learn学习笔记（三）Generalized Linear Models ( 广义线性模型 )
Generalized Linear Models ( 广义线性模型 )
以下是一组用于回归的方法，其中目标值预期是输入变量的线性组合。在数学概念中，如果 是预测值。
在整个模块中，我们指定向量 as coef_ 和 as intercept_ 。
要使用广义线性回归执行分类，请参阅 Logistic 回归。
Ordinary Least Squares ( 普通最小二乘法 )
LinearRegression 线性回归拟合具有系数 的线性模型，以最小化数据集中observed responses ( 观察到的响应 )之间的残差平方和responses predicted by the linear approximation ( 通过线性近似预测的响应 ):
LinearRegression ( 线性回归 ) 将采用其拟合方法数组 X ， y 并将其线性模型的系数 存储在其coef_ 成员中：
>>> from sklearn
import
linear_model
>>> reg = linear_model.LinearRegression()
>>> reg.fit ([[0, 0], [1, 1], [2, 2]], [0, 1, 2])
LinearRegression(copy_X=True, fit_intercept=True, n_jobs=1, normalize=False)
>>> reg.coef_
array([ 0.5, 0.5])
|
然而，普通最小二乘的系数估计依赖于模型项的独立性。当术语相关并且设计矩阵 的列具有近似的线性相关性时，设计矩阵变得接近于单数，并且因此最小二乘估计对观察到的响应中的随机误差变得高度敏感，产生大的方差。例如，当没有实验设计收集数据时，可能会出现这种多重共线性的情况。
线性模型例子：
import matplotlib.pyplot as plt import numpy as np from sklearn import datasets, linear_model # Load the diabetes dataset diabetes = datasets.load_diabetes() # Use only one feature diabetes_X = diabetes.data[:, np.newaxis, 2] # Split the data into training/testing sets diabetes_X_train = diabetes_X[:-20] diabetes_X_test = diabetes_X[-20:] # Split the targets into training/testing sets diabetes_y_train = diabetes.target[:-20] diabetes_y_test = diabetes.target[-20:] # Create linear regression object regr = linear_model.LinearRegression() # Train the model using the training sets regr.fit(diabetes_X_train, diabetes_y_train) # The coefficients print('Coefficients: \n', regr.coef_) # The mean squared error print("Mean squared error: %.2f" % np.mean((regr.predict(diabetes_X_test) - diabetes_y_test) ** 2)) # Explained variance score: 1 is perfect prediction print('Variance score: %.2f' % regr.score(diabetes_X_test, diabetes_y_test)) # Plot outputs plt.scatter(diabetes_X_test, diabetes_y_test, color='black') plt.plot(diabetes_X_test, regr.predict(diabetes_X_test), color='blue', linewidth=3) plt.xticks(()) plt.yticks(()) plt.show()
Ordinary Least Squares Complexity ( 普通最小二乘法复杂度 )
该方法使用 X 的 singular value decomposition ( 奇异值分解 ) 来计算最小二乘解。如果X 是size(n, p) 的矩阵，则该方法的成本为 ，假设。
自己写的一个例子：
1. 数据格式
x,y
1,2
2,4
3,6
4,9
5,10
6,12
7,15
8,16
9,18
10,19
12,23
13,26
14,28
15,31
20,40
21,50
2.代码
import matplotlib.pyplot as plt
import pandas as pd
from sklearn import linear_model
data = pd.read_csv('F:\\tempdata\\python\ml\\linear.csv')
print data.describe()
X_train = data['x'].values.reshape(-1, 1)
print X_train
Y_train = data['y']
print '***************'
regr = linear_model.LinearRegression()
regr.fit(X_train, Y_train)
print '***************'
print regr.coef_
print regr.intercept_
plt.scatter(X_train, Y_train, color='black')
diabetes_X_test = [[2],[5],[10]]
print diabetes_X_test
diabetes_y_test = regr.predict(diabetes_X_test)
print regr.score(diabetes_X_test, diabetes_y_test)
plt.plot(diabetes_X_test, regr.predict(diabetes_X_test), color='blue',linewidth=3)
plt.xticks(())
plt.yticks(())
plt.show()
3.结果
x y
count 19.000000 19.000000
mean 13.421053 28.157895
std 11.211679 24.356754
min 1.000000 2.000000
25% 5.500000 11.000000
50% 10.000000 19.000000
75% 17.500000 35.500000
max 40.000000 84.000000
[[ 1]
[ 2]
[ 3]
...,
[30]
[35]
[40]]
***************
***************
[ 2.16417772]
-0.8876482903
[[2], [5], [10]]
1.0