监督学习(三)——线性模型：OLS

1、用于回归的线性模型

线性模型的预测公式一般为：
y = w[0]*x[0]+w[1]*x[1]+ ··· +w[p]*x[p]+b
上面的公式中，x[0]到x[p]标识的是单个数据的特征，w[0]到w[p]是对应特征的权重，y是预测结果，b是偏移量。
如果是单一变量，公式就变为：
y = w*x + b
就变成一条直线方程，这时候w就是斜率，b是截距。

'''
    1、用于回归的线性模型
    单一特征的线性回归
'''
def linear_mglearn_wave():
    mglearn.plots.plot_linear_regression_wave()
    plt.show()

直线.png

单一特征的预测结果是一条直线，两个特征的预测结果是一个平面，更多特征就是超平面。下面介绍最常见的线性回归模型。

2、线性回归（普通最小二乘法）

线性回归，或者普通最小二乘法(OLS)，是回归问题最简单的线性方法。线性回归寻找参数w和b，使得对训练集的预测值与真实的回归目标值y之间的均方误差最小。均方误差是预测值与真实值之差的平方和除以样本数。

'''
    2、线性回归，普通最小二乘法
'''
def LinearRegression_method():

    # *****  欠拟合
    # X, y = mglearn.datasets.make_wave(n_samples=60)
    # X_train, X_test, y_train, y_test = train_test_split(X, y, random_state=42)
    # lr = LinearRegression().fit(X_train, y_train)
    #
    # print("斜率(特征权重) lr.coef_: {}".format(lr.coef_))
    # print("偏移(截距) lr.intercept_: {}".format(lr.intercept_))
    # # lr.coef_是一个数组，原因是因为当多个特征时，返回的就是多个特征对应的权重
    #
    # print("Training set score: {:.2f}".format(lr.score(X_train, y_train)))
    # print("Test set score: {:.2f}".format(lr.score(X_test, y_test)))
    # 根据训练结果和测试结果，认为是欠拟合

    # *****  过拟合
    X, y = mglearn.datasets.load_extended_boston()
    X_train, X_test, y_train, y_test = train_test_split(X, y, random_state=0)
    lr = LinearRegression().fit(X_train, y_train)
    print("Training set score: {:.2f}".format(lr.score(X_train, y_train)))
    print("Test set score: {:.2f}".format(lr.score(X_test, y_test)))
    # 根据训练结果和测试结果，认为是过拟合

这里有两组输出：

上面4个：
斜率(特征权重) lr.coef_: [0.39390555]
偏移(截距) lr.intercept_: -0.031804343026759746
Training set score: 0.67
Test set score: 0.66
下面2个：
Training set score: 0.95
Test set score: 0.61

这里用了两种不同的数据。先说上面的一组数据；
这组数据最后训练分数和测试分数很相近，这说明欠拟合，而不是过拟合。这是因为一维数据，训练模型很简单，很难出现过拟合。
而下面一组数据，其特征值很多，也就是高维度的数据。最后的得分，训练集和测试集的性能差异是过拟合的明显标志。
通过这两组数据，我们发现在训练过程中，我们无法控制训练模型的复杂度。那么我们需要可以控制复杂度的训练模型。