Tensorflow2.4使用Tuner选择模型最佳超参详解

前言

本文使用 cpu 版本的 tensorflow 2.4 ,选用 Keras Tuner 工具以 Fashion 数据集的分类任务为例,完成最优超参数的快速选择任务。

当我们搭建完成深度学习模型结构之后,我们在训练模型的过程中,有很大一部分工作主要是通过验证集评估指标,来不断调节模型的超参数,这是比较耗时耗力的,如果只是不计代价为找到模型最优的超参数组合,我们大可以使用暴力穷举,把所有超参数都搭配组合试用一遍,肯定能找到一组最优的超参数结果。但是现实情况是我们不仅要考虑时间成本,还要考虑计算成本等因素,而 Tuner 工具包可帮助我们省时省力做这件事情,为我们的 TensorFlow 程序选择最佳的超参数集,整个这一找最佳超参数集的过程称为超参数调节或超调。

我们要知道超参数有两种类型:

  • 模型超参:也就是能够影响模型的架构参数,例如神经元个数等
  • 算法超参:也就是能够影响模型学习算法参数,例如学习率和 epoch 等

实现过程

1. 获取 MNIST 数据并进行处理

(1)首先我们要保证 tensorflow 不低于 2.4.0 ,python 不低于 3.8 ,否则无法使用 keras-tuner ,然后使用 pip 安装 keras-tuner 使用即可。

(2)使用 tensorflow 的内置函数从网络获取 Fashion 数据集 。

(3)将整个数据集做归一化操作,加快模型训练的收敛。

import tensorflow as tf
from tensorflow import keras
import keras_tuner as kt
(train_img, train_label), (test_img, test_label) = keras.datasets.fashion_mnist.load_data()
train_img = train_img.astype('float32') / 255.0
test_img = test_img.astype('float32') / 255.0

2. 搭建超模型

(1)这里主要是定义超模型,在构建用于超调的模型时,除了定义模型结构之外,还要定义超参的可选范围,这种为超调搭建的模型称为超模型。

(2)第一层是将每张图片的输入从二维压缩成一维。

(3)第二层是输出一个维度为 units 的全连接层,units 是我们的神经元个数选择器,我们规定了从 16-256 中随机选择一个可用的整数来进行模型的训练,整数选择的步长为 32 ,并最终能确定一个使得模型能达到最好效果的神经元个数,并且使用了激活函数 relu 来进行非线性变换。

(4)第三层是一个输出 10 个维度向量的全连接层,也就是输出该图片属于这 10 个类别的概率分布。

(5)学习率也是一个需要不断调整的超参数,所以我们使用 learning_rate 当做我们优化器学习率的选择器,从 [1e-2, 1e-3, 1e-4] 中选择能使模型达到最好效果的那个。

(6)编译模型的时候我们选择了最常用的 Adam 优化器,其学习率就是用我们刚才定义好的 learning_rate ,一会在模型学习的过程中会不断随机选择一个学习率。

(7)损失函数选择常见的 SparseCategoricalCrossentropy 。

(8)评估指标选择最简单的准确率 accuracy 。

def model_builder(hp):
    model = keras.Sequential()
    model.add(keras.layers.Flatten(input_shape=(28, 28)))
    units = hp.Int('units', min_value=16, max_value=256, step=32)
    model.add(keras.layers.Dense(units=units, activation='relu'))
    model.add(keras.layers.Dense(10))
    learning_rate = hp.Choice('learning_rate', values=[1e-2, 1e-3, 1e-4])
    model.compile(optimizer=keras.optimizers.Adam(learning_rate=learning_rate),
                loss=keras.losses.SparseCategoricalCrossentropy(from_logits=True),
                metrics=['accuracy'])
    return model

3. 实例化调节器并进行模型超调

(1)Tuner 中常见的调节器包括:RandomSearch、Hyperband、BayesianOptimization 和 Sklearn。在本文中我们使用 Hyperband 调节器来完成超参数的选择。

(2)我们知道现实中将所有的超参数进行搭配可以形成很多组,这个组数越多,那么最优超参数组合出现的概率也越大,但是与此相悖的是组数越多,在有限资源的情况下,能对每一组超参数进行测试的资源就越少,找到最优组的概率会下降, Hyperband 由此而生,Hyperband 就是假设尽可能出现多的超参数组,并且每组所能得到的资源要尽可能多,从而确保尽可能找到有最优超参数的那个组。

(3)在实际超调过程中,Hyperband 会假设 n 组超参数组合,然后对这 n 组超参数均匀地分配预算并进行验证评估,根据验证结果淘汰一半表现差的超参数组,不断重复上述过程直到找到一个最优超参数组合。

(4)调用函数 Hyperband 将调节器进行实例化,我们需要传入超模型、训练目标和最大的训练 epoch 。

(5)为了训练过程中防止过拟合现象,我们还加入了 EarlyStopping ,当经过 3 次 epoch 都没有优化之后会停止模型训练。

(6)这里就是使用超调实例 tuner 在模型训练过程中,通过调用 model_builder 函数不断地在 units 、learning_rate 中使用合适的超参构建新模型,并使用训练集为新模型训练 10 个 epoch ,最后选用训练集 20% 比例的验证集,记录下每个配置下的模型在验证集上表现出的评估指标 val_accuracy 。

(7)当超调结束之后,我们返回最好的超参选用结果 best_hps 。

tuner = kt.Hyperband(model_builder, objective='val_accuracy', max_epochs=10)
stop_early = tf.keras.callbacks.EarlyStopping(monitor='val_loss', patience=3)
tuner.search(train_img, train_label, epochs=10, validation_split=0.2, callbacks=[stop_early])
best_hps=tuner.get_best_hyperparameters(num_trials=1)[0]
print(f"""超调结束, 第一层全连接层的神经元个数建议选为 {best_hps.get('units')} ,优化器学习率建议选为 {best_hps.get('learning_rate')}.""")

输出结果为:

Trial 30 Complete [00h 00m 15s]
val_accuracy: 0.8845000267028809
Best val_accuracy So Far: 0.8864166736602783
Total elapsed time: 00h 03m 04s
INFO:tensorflow:Oracle triggered exit
超调结束, 第一层全连接层的神经元个数建议选为176 ,优化器学习率建议选为0.001.

4. 训练模型获得最佳 epoch

(1)我们已经通过 tuner 获得了最优的超参数,接下来我们只需要用最优的超参数构建模型,然后使用训练数据对模型进行训练 30 个 epoch 即可,并且使用训练数据的 20% 作为验证集对模型进行效果评估。

(2)我们可以将经过验证集评估得到的每个 epoch 产生的 val_accuracy 都取出来,然后选择其中最大的那个 epoch ,说明当经过 14 次 epoch 就可以达到最佳的模型效果

model = tuner.hypermodel.build(best_hps)
history = model.fit(img_train, label_train, epochs=30, validation_split=0.2)
val_acc_per_epoch = history.history['val_accuracy']
best_epoch = val_acc_per_epoch.index(max(val_acc_per_epoch)) + 1
print('产生最好的 val_accuracy 是在第 %d 个 epoch ' % (best_epoch,))

输出为:

Epoch 1/30
1500/1500 [==============================] - 2s 1ms/step - loss: 0.6338 - accuracy: 0.7770 - val_loss: 0.4494 - val_accuracy: 0.8401
Epoch 2/30
1500/1500 [==============================] - 1s 938us/step - loss: 0.3950 - accuracy: 0.8575 - val_loss: 0.3971 - val_accuracy: 0.8497
...
Epoch 14/30
1500/1500 [==============================] - 2s 1ms/step - loss: 0.2027 - accuracy: 0.9229 - val_loss: 0.3150 - val_accuracy: 0.8943
Epoch 15/30
1500/1500 [==============================] - 1s 985us/step - loss: 0.1951 - accuracy: 0.9280 - val_loss: 0.3200 - val_accuracy: 0.8912
...
Epoch 29/30
1500/1500 [==============================] - 1s 906us/step - loss: 0.1298 - accuracy: 0.9517 - val_loss: 0.3939 - val_accuracy: 0.8902
Epoch 30/30
1500/1500 [==============================] - 1s 951us/step - loss: 0.1194 - accuracy: 0.9561 - val_loss: 0.4027 - val_accuracy: 0.8904
产生最好的 val_accuracy 是在第 14 个 epoch 

5. 使用最有超参数集进行模型训练和评估

(1) 经过上面的过程我们已经找到了最好的神经元个数、学习率、以及训练模型的 epoch ,接下来使用这些超参重新实例化新的模型并使用上面的 best_epoch 对其进行训练,仍然选择训练集的 20% 作为验证集对模型效果进行验证 。

best_model = tuner.hypermodel.build(best_hps)
best_model.fit(img_train, label_train, epochs=best_epoch, validation_split=0.2)

(2)我们使用测试集堆模型进行评估。

eval_result = best_model.evaluate(test_img, test_label)
print("测试集损失值 %f , 测试集准确率为 %f"% (eval_result[0], eval_result[1]))

输出结果为:

测试集损失值 0.345943 , 测试集准确率为 0.889400

以上就是Tensorflow2.4使用Tuner选择模型最佳超参详解的详细内容,更多关于Tensorflow2.4 Tuner选择模型的资料请关注脚本之家其它相关文章!

你可能感兴趣的:(Tensorflow2.4使用Tuner选择模型最佳超参详解)