Kaggle从零入门学习笔记-4.Underfitting&overfitting(过拟合和欠拟合)

上一篇 3.数据验证
现在我们已经学习了如何检测一个模型的准确性，接下来就可以根据不同的模型得到的结果进行一个选择。
一个决策树可以有很多枝叶，当枝叶非常多，枝叶下面的house就会变少，预测基于的house少，那么它就只适用于样本内数据，对于新数据来说没有太多适配性，这就叫做overfitting；然而，当一个决策树分的枝叶很少 ，它对于训练集的拟合效果也不是很好，这就叫做underfitting
现在，我们用之前的例子调整参数，试着找到一个最适配的决策树模型。

from sklearn.metrics import mean_absolute_error
from sklearn.tree import DecisionTreeRegressor

def get_mae(max_leaf_nodes, train_X, val_X, train_y, val_y):
    model = DecisionTreeRegressor(max_leaf_nodes=max_leaf_nodes, random_state=0)
    model.fit(train_X, train_y)
    preds_val = model.predict(val_X)
    mae = mean_absolute_error(val_y, preds_val)
    return(mae)

自定义一个get_mae函数

# compare MAE with differing values of max_leaf_nodes
for max_leaf_nodes in [5, 50, 500, 5000]:
    my_mae = get_mae(max_leaf_nodes, train_X, val_X, train_y, val_y)
    print("Max leaf nodes: %d  \t\t Mean Absolute Error:  %d" %(max_leaf_nodes, my_mae))

结果为：
Max leaf nodes: 5 Mean Absolute Error: 347380
Max leaf nodes: 50 Mean Absolute Error: 258171
Max leaf nodes: 500 Mean Absolute Error: 243495
Max leaf nodes: 5000 Mean Absolute Error: 254983
根据结果可知，max leaf nodes在500的时候拟合效果最好
下一篇：5.随机森林