sklearn机器学习之基于sin函数的回归决策树

1.导入相应包

import numpy as np
from sklearn.tree import DecisionTreeRegressor
from matplotlib import pyplot as plt

2.准备数据集

rng = np.random.RandomState(1)
X = np.sort(5 * rng.rand(80, 1), axis=0)
#ravel函数将原维数降一维
y = np.sin(X).ravel()

3.绘制图像

plt.figure()
plt.scatter(X, y, s=20, edgecolors='black', c='darkorange', label='data')

绘制图像如下

4.在y中添加噪声

y[::5] += 3 * (0.5 - rng.rand(16))
y[::5]

5.绘制图像

plt.figure()
plt.scatter(X, y, s=20, edgecolors='black', c='darkorange', label='data')

绘制图像如下

6.构造最大深度不同的决策会归树

regr_1 = DecisionTreeRegressor(max_depth=2)
regr_2 = DecisionTreeRegressor(max_depth=5)
regr_1.fit(X, y)
regr_2.fit(X, y)

7.生成测试集

#np.newaxis增维函数
X_test = np.arange(0.0, 5.0, 0.01)[:, np.newaxis]

8.分别利用两个函数进行测试

y_1 = regr_1.predict(X_test)
y_2 = regr_2.predict(X_test)

9.结果可视化

plt.figure()
plt.scatter(X, y, s=20, edgecolors="black", c="darkorange", label="data")
plt.plot(X_test, y_1, color="cornflowerblue", label="max_depth=2", linewidth=2)
plt.plot(X_test, y_2, color="yellowgreen", label="max_depth=5", linewidth=2)
plt.xlabel("data")
plt.xlabel("target")
plt.title("Decision Tree Regression")
plt.legend()
plt.show()

绘制图像如下

这里data点表示我们的训练集数据，蓝色线表示我们选择最大深度为2的回归决策树预测出来的决策边界，绿色线表示我们选择最大深度为5的回归决策树预测出来的决策边界，我们可以看到绿色线出现了过拟合现象，他将许多噪声点都加入到了决策边界，此时我们就可以降低最大深度减小过拟合现象。