机器学习之路13

过拟合与欠拟合：

比如，我们的数据训练的很好，并且误差也不大，那为什么在测试集上面有问题呢？就是因为可能出现了过拟合或者欠拟合。

欠拟合

其实是学习到的特征过少了，在测试上就会出现问题。

过拟合

学习的特征过多了，在测试时也可能会出现不准确的情况。

具体分析 

深入认识过拟合与欠拟合：

 

 那是什么原因导致我们的模型变得复杂了呢？

解决过拟合与欠拟合的方法

正则化的类别 

 L2正则化（更能常用，就是损失函数+惩罚项）：λ为惩罚系数

L1正则化：

岭回归

岭回归的API

用岭回归实现对房价的预测

#用岭回归来对房价进行预测
def linear3():
    '''
    岭回归的优化方法来对波士顿的房价进行预测
    :return:
    '''
    #1 获取数据
    boston = load_boston()
    print("特征数量\n",boston.data.shape)
    #2 划分数据集
    x_train,x_test,y_train,y_test = train_test_split(boston.data,boston.target,random_state=22)
    #3 标准化
    transfer = StandardScaler()
    x_train = transfer.fit_transform(x_train)
    x_test = transfer.transform(x_test)
    #4 预估器.max_iter是迭代次数,alpha是惩罚系数
    estimator = Ridge(alpha=0.5,max_iter=10000)
    estimator.fit(x_train,y_train)
    #5 得出模型
    print("岭回归权重系数为：\n",estimator.coef_)
    print("岭回归偏执为：\n",estimator.intercept_)
    #6 模型评估
    y_predict = estimator.predict(x_test)
    print("预测房价：\n",y_predict)
    error = mean_squared_error(y_test,y_predict)
    #均方误差越小越好
    print("岭回归均方误差为：\n",error)
    return None

输出：

 

 正则化力度对结果的影响：