XGBoost Stopping to Avoid Overfitting(early_stopping_rounds )

rom:http://blog.csdn.net/lujiandong1/article/details/52777168

XGBoost模型和其他模型一样,如果迭代次数过多,也会进入过拟合。表现就是随着迭代次数的增加,测试集上的测试误差开始下降。当开始过拟合或者过训练时,测试集上的测试误差开始上升,或者说波动。下面通过实验来说明这种情况:

下面实验数据的来源:https://archive.ics.uci.edu/ml/datasets/Pima+Indians+Diabetes

[python]  view plain  copy
 
  1. # monitor training performance  
  2. from numpy import loadtxt  
  3. from xgboost import XGBClassifier  
  4. from sklearn.cross_validation import train_test_split  
  5. from sklearn.metrics import accuracy_score  
  6. # load data  
  7. dataset = loadtxt('pima-indians-diabetes.csv', delimiter=",")  
  8. # split data into X and y  
  9. X = dataset[:,0:8]  
  10. Y = dataset[:,8]  
  11. # split data into train and test sets  
  12. X_train, X_test, y_train, y_test = train_test_split(X, Y, test_size=0.33, random_state=7)  
  13. # fit model no training data  
  14. model = XGBClassifier()  
  15. eval_set = [(X_test, y_test)]  
  16. model.fit(X_train, y_train, eval_metric="error", eval_set=eval_set, verbose=True)  
  17. # make predictions for test data  
  18. y_pred = model.predict(X_test)  
  19. predictions = [round(value) for value in y_pred]  
  20. # evaluate predictions  
  21. accuracy = accuracy_score(y_test, predictions)  
  22. print("Accuracy: %.2f%%" % (accuracy * 100.0))  
下面,分析每次迭代时,test error的情况:


分析:当迭代次数过多时,测试集上的测试误差基本上已经不再下降。并且测试误差基本上已经在一个水平附近波动,甚至下降。说明,已经进入了过训练阶段

==============================================================================================================================

下面,我们通过可视化训练loss,测试loss来说明过拟合的现象

[python]  view plain  copy
 
  1. # plot learning curve  
  2. from numpy import loadtxt  
  3. from xgboost import XGBClassifier  
  4. from sklearn.cross_validation import train_test_split  
  5. from sklearn.metrics import accuracy_score  
  6. from matplotlib import pyplot  
  7. # load data  
  8. dataset = loadtxt('pima-indians-diabetes.csv', delimiter=",")  
  9. # split data into X and y  
  10. X = dataset[:,0:8]  
  11. Y = dataset[:,8]  
  12. # split data into train and test sets  
  13. X_train, X_test, y_train, y_test = train_test_split(X, Y, test_size=0.33, random_state=7)  
  14. # fit model no training data  
  15. model = XGBClassifier()  
  16. eval_set = [(X_train, y_train), (X_test, y_test)]  
  17. model.fit(X_train, y_train, eval_metric=["error""logloss"], eval_set=eval_set, verbose=True)  
  18. # make predictions for test data  
  19. y_pred = model.predict(X_test)  
  20. predictions = [round(value) for value in y_pred]  
  21. # evaluate predictions  
  22. accuracy = accuracy_score(y_test, predictions)  
  23. print("Accuracy: %.2f%%" % (accuracy * 100.0))  
  24. # retrieve performance metrics  
  25. results = model.evals_result()  
  26. epochs = len(results['validation_0']['error'])  
  27. x_axis = range(0, epochs)  
  28. # plot log loss  
  29. fig, ax = pyplot.subplots()  
  30. ax.plot(x_axis, results['validation_0']['logloss'], label='Train')  
  31. ax.plot(x_axis, results['validation_1']['logloss'], label='Test')  
  32. ax.legend()  
  33. pyplot.ylabel('Log Loss')  
  34. pyplot.title('XGBoost Log Loss')  
  35. pyplot.show()  
  36. # plot classification error  
  37. fig, ax = pyplot.subplots()  
  38. ax.plot(x_axis, results['validation_0']['error'], label='Train')  
  39. ax.plot(x_axis, results['validation_1']['error'], label='Test')  
  40. ax.legend()  
  41. pyplot.ylabel('Classification Error')  
  42. pyplot.title('XGBoost Classification Error')  
  43. pyplot.show()  
说明:对于该代码的一些解说

[python]  view plain  copy
 
  1. eval_set = [(X_train, y_train), (X_test, y_test)]  
  2. model.fit(X_train, y_train, eval_metric=["error""logloss"], eval_set=eval_set, verbose=True)  
说明:每轮迭代的过程中,需要对训练集和测试进行评测,并且,评测的指标是"error","logloss"

[python]  view plain  copy
 
  1. # retrieve performance metrics  
  2. results = model.evals_result()  
  3. epochs = len(results['validation_0']['error'])  
  4. x_axis = range(0, epochs)  
  5. # plot log loss  
  6. fig, ax = pyplot.subplots()  
  7. ax.plot(x_axis, results['validation_0']['logloss'], label='Train')  
  8. ax.plot(x_axis, results['validation_1']['logloss'], label='Test')  
  9. ax.legend()  
  10. pyplot.ylabel('Log Loss')  
  11. pyplot.title('XGBoost Log Loss')  
  12. pyplot.show()  
说明:每轮评估的结果可以通过evals_result取得,results['validation_0']对应的是训练集的评估结果,results['validation_1']对应的是测试集上的评估结果

下面可视化训练集误差曲线和测试集误差曲线:

通过logloss图,很明显看出,当nround大于40的时候,测试集上的误差开始上升,已经进入了过拟合了。

XGBoost可以通过设置参数 early_stopping_rounds 来解决因为迭代次数过多而过拟合的状态。

[python]  view plain  copy
 
  1. eval_set = [(X_test, y_test)]  
  2. model.fit(X_train, y_train, early_stopping_rounds=10, eval_metric="logloss", eval_set=eval_set, verbose=True)  
说明:设置early_stopping_rounds=10,当logloss在10轮迭代之内,都没有提升的话,就stop。如果说eval_metric有很多个指标,那就以最后一个指标为准。

[python]  view plain  copy
 
  1. # early stopping  
  2. from numpy import loadtxt  
  3. from xgboost import XGBClassifier  
  4. from sklearn.cross_validation import train_test_split  
  5. from sklearn.metrics import accuracy_score  
  6. # load data  
  7. dataset = loadtxt('pima-indians-diabetes.csv', delimiter=",")  
  8. # split data into X and y  
  9. X = dataset[:,0:8]  
  10. Y = dataset[:,8]  
  11. # split data into train and test sets  
  12. seed = 7  
  13. test_size = 0.33  
  14. X_train, X_test, y_train, y_test = train_test_split(X, Y, test_size=test_size, random_state=seed)  
  15. # fit model no training data  
  16. model = XGBClassifier()  
  17. eval_set = [(X_test, y_test)]  
  18. model.fit(X_train, y_train, early_stopping_rounds=10, eval_metric="logloss", eval_set=eval_set, verbose=True)  
  19. # make predictions for test data  
  20. y_pred = model.predict(X_test)  
  21. predictions = [round(value) for value in y_pred]  
  22. # evaluate predictions  
  23. accuracy = accuracy_score(y_test, predictions)  
  24. print("Accuracy: %.2f%%" % (accuracy * 100.0))  


说明:当nround = 42时,就stop了,说明logloss最佳的状态在nround = 32的时候。经验上,选择early_stopping_rounds = 10%*(总迭代次数)

当使用了early_stopping_rounds,可以通过best_iteration属性来提取出最适合的迭代次数,然后预测的时候就使用stop之前训练的树来预测。

[python]  view plain  copy
 
  1. print (model.best_iteration)  
  2. limit = model.best_iteration  
  3. y_pred = model.predict(X_test,ntree_limit=limit)  
  4. predictions = [round(value) for value in y_pred]  
  5. # evaluate predictions  
  6. accuracy = accuracy_score(y_test, predictions)  
  7. print("Accuracy: %.2f%%" % (accuracy * 100.0))  

你可能感兴趣的:(XGBoost Stopping to Avoid Overfitting(early_stopping_rounds ))