机器学习之路13

过拟合与欠拟合:

比如,我们的数据训练的很好,并且误差也不大,那为什么在测试集上面有问题呢?就是因为可能出现了过拟合或者欠拟合。

欠拟合

机器学习之路13_第1张图片

其实是学习到的特征过少了,在测试上就会出现问题。

过拟合

机器学习之路13_第2张图片

学习的特征过多了,在测试时也可能会出现不准确的情况。

具体分析 

机器学习之路13_第3张图片

深入认识过拟合与欠拟合:

 机器学习之路13_第4张图片

 那是什么原因导致我们的模型变得复杂了呢?

机器学习之路13_第5张图片

解决过拟合与欠拟合的方法

机器学习之路13_第6张图片

正则化的类别 

 L2正则化(更能常用,就是损失函数+惩罚项):λ为惩罚系数

机器学习之路13_第7张图片

L1正则化:

机器学习之路13_第8张图片

岭回归

岭回归的API

机器学习之路13_第9张图片

用岭回归实现对房价的预测

#用岭回归来对房价进行预测
def linear3():
    '''
    岭回归的优化方法来对波士顿的房价进行预测
    :return:
    '''
    #1 获取数据
    boston = load_boston()
    print("特征数量\n",boston.data.shape)
    #2 划分数据集
    x_train,x_test,y_train,y_test = train_test_split(boston.data,boston.target,random_state=22)
    #3 标准化
    transfer = StandardScaler()
    x_train = transfer.fit_transform(x_train)
    x_test = transfer.transform(x_test)
    #4 预估器.max_iter是迭代次数,alpha是惩罚系数
    estimator = Ridge(alpha=0.5,max_iter=10000)
    estimator.fit(x_train,y_train)
    #5 得出模型
    print("岭回归权重系数为:\n",estimator.coef_)
    print("岭回归偏执为:\n",estimator.intercept_)
    #6 模型评估
    y_predict = estimator.predict(x_test)
    print("预测房价:\n",y_predict)
    error = mean_squared_error(y_test,y_predict)
    #均方误差越小越好
    print("岭回归均方误差为:\n",error)
    return None

输出:

机器学习之路13_第10张图片 

 正则化力度对结果的影响:

机器学习之路13_第11张图片

 

 

 

 

 

你可能感兴趣的:(机器学习,人工智能)