TensorFlow2 初级教程(2):回归问题——汽车燃油效率预测

大家好!我是【AI 菌】,一枚爱弹吉他的程序员。我热爱AI、热爱分享、热爱开源! 这博客是我对学习的一点总结与思考。如果您也对 深度学习、机器视觉、数据结构与算法、编程 等感兴趣,可以关注我的动态,我们一起学习,一起进步~
我的博客地址为:【AI 菌】的博客
我的Github项目地址是:【AI 菌】的Github

在这里插入图片描述
前言:
这个专栏我将分享我的 TensorFlow2 学习过程,力争打造一个的轻松而高效的TensorFlow2入门学习教程,想学习的小伙伴可以关注我的动态!我们一起学习,一起进步!

相关文章:【TF2.0深度学习实战——图像分类】

文章目录

    • 一、回归问题
    • 二、数据集准备
      • (1)数据集下载与导入
      • (2)数据清洗
      • (3)数据集划分
      • (4)数据检查
      • (5)分离标签
      • (6)数据规范化
    • 三、模型搭建与训练
      • (1)模型的搭建
      • (2)模型的装配
      • (3)模型的训练
      • (4)训练的可视化
    • 四、停训与预测
      • (1)提前停止训练
      • (2)预测效果


一、回归问题

机器学习中有两大基本问题:分类问题和回归问题。分类(classification) 的目的是从一系列的类别中选择出一个分类,如果是针对图片进行分类,就是图片分类问题,这一部分可参见我上一个专栏:【TF2.0深度学习实战——图像分类】。在机器学习中,另一个重要的问题就是回归问题 (regression) 。它的目的是预测出如价格或概率这样连续的输出值。

本次我们学习一个基本的回归问题,用来预测汽车消耗燃油的效率。我们使用经典的 Auto MPG 数据集,构建了一个用来预测70年代末到80年代初汽车燃油效率的模型。为了做到这一点,我们将为该模型提供许多那个时期的汽车描述。这个描述包含:气缸数,排量,马力以及重量等。

Auto MPG 数据集部分样本如下表所示:
TensorFlow2 初级教程(2):回归问题——汽车燃油效率预测_第1张图片

二、数据集准备

(1)数据集下载与导入

# 下载AUTO-MPG数据集
dataset_path = keras.utils.get_file("auto-mpg.data", "http://archive.ics.uci.edu/ml/machine-learning-databases/auto-mpg/auto-mpg.data")

# 使用pandas导入数据集
column_names = ['MPG','Cylinders','Displacement','Horsepower','Weight',
                'Acceleration', 'Model Year', 'Origin']
raw_dataset = pd.read_csv(dataset_path, names=column_names,
                      na_values = "?", comment='\t',
                      sep=" ", skipinitialspace=True)
dataset = raw_dataset.copy()
dataset.tail()

(2)数据清洗

dataset.isna().sum()  # 数据集中包括一些未知值
dataset = dataset.dropna()  # 删除未知行

# origin列实际上代表分类,将origin列转换为独热码(one-hot)
origin = dataset.pop('Origin')  
dataset['USA'] = (origin == 1)*1.0
dataset['Europe'] = (origin == 2)*1.0
dataset['Japan'] = (origin == 3)*1.0
dataset.tail()

将origin列转换为独热码后,原来数据集样本变为:

TensorFlow2 初级教程(2):回归问题——汽车燃油效率预测_第2张图片

(3)数据集划分

# 拆分训练数据集和测试数据集
train_dataset = dataset.sample(frac=0.8, random_state=0)
test_dataset = dataset.drop(train_dataset.index)

(4)数据检查

使用 seaborn 库快速查看训练集中几对列的联合分布。

# 使用seaborn进行数据检查
sns.pairplot(train_dataset[["MPG", "Cylinders", "Displacement", "Weight"]], diag_kind="kde")  

联合分布如下:

TensorFlow2 初级教程(2):回归问题——汽车燃油效率预测_第3张图片

(5)分离标签

由于标签MPG列存在于下载的数据集中,因此需要单独分离开来。

train_labels = train_dataset.pop('MPG')
test_labels = test_dataset.pop('MPG')

(6)数据规范化

def norm(x):
  return (x - train_stats['mean']) / train_stats['std']
normed_train_data = norm(train_dataset)
normed_test_data = norm(test_dataset)

三、模型搭建与训练

(1)模型的搭建

model = keras.Sequential([
    layers.Dense(64, activation='relu', input_shape=[len(train_dataset.keys())]),
    layers.Dense(64, activation='relu'),
    layers.Dense(1)
  ])

(2)模型的装配

optimizer = tf.keras.optimizers.RMSprop(0.001)
model.compile(loss='mse',
                optimizer=optimizer,
                metrics=['mae', 'mse'])

(3)模型的训练

EPOCHS = 1000
history = model.fit(
  normed_train_data, train_labels,
  epochs=EPOCHS, validation_split=0.2, verbose=2)

(4)训练的可视化

def plot_history(history):
  hist = pd.DataFrame(history.history)
  hist['epoch'] = history.epoch

  plt.figure()
  plt.xlabel('Epoch')
  plt.ylabel('Mean Abs Error [MPG]')
  plt.plot(hist['epoch'], hist['mae'],
           label='Train Error')
  plt.plot(hist['epoch'], hist['val_mae'],
           label='Val Error')
  plt.ylim([0, 5])
  plt.legend()

  plt.figure()
  plt.xlabel('Epoch')
  plt.ylabel('Mean Square Error [$MPG^2$]')
  plt.plot(hist['epoch'], hist['mse'],
           label='Train Error')
  plt.plot(hist['epoch'], hist['val_mse'],
           label='Val Error')
  plt.ylim([0, 20])
  plt.legend()
  plt.show()
  
plot_history(history)

可视化结果:
TensorFlow2 初级教程(2):回归问题——汽车燃油效率预测_第4张图片
TensorFlow2 初级教程(2):回归问题——汽车燃油效率预测_第5张图片
上图表显示在约80个 epochs 之后误差非但没有改进,反而出现恶化。 因此我们可以更新 model.fit 调用,当验证值没有提高上是自动停止训练。 具体的作法就是:使用一个 EarlyStopping callback 来测试每个 epoch 的训练条件。如果经过一定数量的 epochs 后没有改进,就自动停止训练。

四、停训与预测

(1)提前停止训练

由于训练到一定epochs后,模型的误差可能不再变化,甚至在恶化,这时就可以提前停止训练,节省时间。

# patience 值用来检查改进 epochs 的数量
early_stop = keras.callbacks.EarlyStopping(monitor='val_loss', patience=10)
history = model.fit(normed_train_data, train_labels, epochs=EPOCHS,
                    validation_split=0.2, verbose=1, callbacks=[early_stop])

使用 EarlyStopping callback 连续检测10个epochs,如果误差没有变小,就停止训练。结果如下:
TensorFlow2 初级教程(2):回归问题——汽车燃油效率预测_第6张图片
TensorFlow2 初级教程(2):回归问题——汽车燃油效率预测_第7张图片
从上图可以发现:加了 EarlyStopping callback 后,模型提前停止训练了,在训练到50个epochs左右时,误差就没有再缩小,从而提前停止训练。

(2)预测效果

以上都是在训练和验证集上的测试效果,下面我们将对测试集进行预测,来测试模型的泛化效果。

# 平均预测误差
loss, mae, mse = model.evaluate(normed_test_data, test_labels, verbose=2)
print("Testing set Mean Abs Error: {:5.2f} MPG".format(mae))
test_predictions = model.predict(normed_test_data).flatten()

# 可视化预测效果:prediction-truth图
plt.figure()
plt.scatter(test_labels, test_predictions)
plt.xlabel('True Values [MPG]')
plt.ylabel('Predictions [MPG]')
plt.axis('equal')
plt.axis('square')
plt.xlim([0,plt.xlim()[1]])
plt.ylim([0,plt.ylim()[1]])
_ = plt.plot([-100, 100], [-100, 100])

# 误差分布图
plt.figure()
error = test_predictions - test_labels
plt.hist(error, bins = 25)
plt.xlabel("Prediction Error [MPG]")
_ = plt.ylabel("Count")
plt.show()

测试集上的预测效果如下:

  1. 平均误差。平均误差为1.98。
Testing set Mean Abs Error:  1.98 MPG
  1. prediction-truth图。横轴表示真实的值,纵轴表示的是预测的值。可见预测值很贴近真实值。

TensorFlow2 初级教程(2):回归问题——汽车燃油效率预测_第8张图片

  1. 误差分布。横轴是预测误差,纵轴是统计的每个误差对应的样本数。
    TensorFlow2 初级教程(2):回归问题——汽车燃油效率预测_第9张图片
    由上图可见,它不是完全的高斯分布,可以推断出,这是因为样本的数量很小所导致的。

完整代码已经上传github仓库:https://github.com/Keyird/TensorFlow2-for-beginner
如果对你有帮助的话,欢迎star收藏~

最好的关系是互相成就,各位的「三连」就是【AI 菌】创作的最大动力,我们下期见!

你可能感兴趣的:(TensorFlow2 初级教程(2):回归问题——汽车燃油效率预测)