80TensorFlow 2 模型部署方法实践--预训练模型使用方法

预训练模型使用方法

2019 年 3 月 6 日，谷歌在 TensorFlow 开发者年度峰会上发布了最新的 TensorFlow 2 框架。新版本对 TensorFlow 的使用方式进行了重大改进，使其更加灵活和更具人性化。在新版本中，TensorFlow 可以使用 Keras 高级 API 进行网络模型构建，同时结合 Keras-applications 提供基于 ImageNet 的预训练模型。
ImageNet 是目前世界上用于图像识别最大的数据库，每张图片都经过严格的人工筛选与标记。其中包含约 1500 万张图片，总共分为 21841 个类别。具体信息可以登录 ImageNet 官网 查看。
预训练模型是训练结束时结果比较好的一组权重值，研究人员分享出来供其他人使用。Keras-applications 提供的预训练模型都是基于 ImageNet 训练的，输出 1000 种类别。具体列表如下：

image.png

上表中，Top-1 和 Top-5 精度是指模型在 ImageNet 验证数据集上的性能，深度是指网络的拓扑深度。这包括激活层，批处理规范化层等。

选择图片

在本实验中，我们使用 skimage 库中的自带图片进行图像识别。skimage 中自带一张猫的图片，稍后我们用这张图片进行识别任务。

from skimage import data
import matplotlib.pyplot as plt
%matplotlib inline

# skimage 中自带一张猫的图片
image = data.chelsea()
plt.imshow(image)

导入预训练模型

接下来从 Keras-applications 中导入预训练模型 MobileNetV2。由于原模型托管在海外服务器，在蓝桥云课环境中，需要将预训练模型从蓝桥云课镜像服务器下载到 ~/.keras/models 目录下，方便后续载入模型。

# 下载预训练模型到线上环境指定目录
!wget -nc "https://labfile.oss.aliyuncs.com/courses/1435/mobilenet_v2_weights_tf_dim_ordering_tf_kernels_1.0_224.h5" -P "/root/.keras/models"
!wget -nc "https://labfile.oss.aliyuncs.com/courses/1435/imagenet_class_index.json" -P "/root/.keras/models"

通过指定权重 weights='imagenet' 来载入 ImageNet 预训练模型。

from tensorflow.keras.applications.mobilenet_v2 import MobileNetV2

# 载入 ImageNet 预训练模型
model = MobileNetV2(weights='imagenet')
model.summary()

数据处理

接下来，我们尝试对上面的示例图片进行识别，首先需要将图片处理成预训练模型可以输入的形状。我们将图像放缩到 224*224 的大小，并在图像矩阵前面增加一维，即将 (224,224,3) 的图像矩阵变成 (1,224,224,3)。

然后，可以调用 preprocess_input 方法将向量处理成 MobileNetV2 最终支持的输入类型。

from tensorflow.keras.applications.mobilenet_v2 import preprocess_input
import numpy as np
import cv2

# 将图像放缩到 224*224 的大小
image = cv2.resize(image, (224, 224))
# 将图像矩阵前面增加一维，即将 (224,224,3) 的图像矩阵变成 (1,224,224,3)
x = np.expand_dims(image, 0)
# 预处理图像，在 Keras 中，在传入图片数组值 (0-255) 的基础之上，
# 进行先除以 127.5，然后减 1，最后将值的范围为放缩到 (-1,1) 上
x = preprocess_input(x)
x.shape

模型预测

接下来，使用 model 中的 predict 对输入数据进行预测，模型输出为一个 (1,1000) 的向量，向量中每个元素表示对应标签的预测值。

output = model.predict(x)
output.shape

这里使用 decode_predictions 对模型输出的向量进行解码，解码的结果就是预测的结果，这里 top=5 表示输出前五个最有可能的类别。

from tensorflow.keras.applications.mobilenet_v2 import decode_predictions
preds = decode_predictions(output, top=5)
preds

通过输出结果可以看到，模型预测图片最可能的类别是 Egyptian cat。

保存模型

我们可以在训练期间和训练完成后，对模型进行保存，而模型部署就是使用保存后的模型进行实际应用。在训练过程中， TensorFlow 2 提供了两种方式来保存模型。
HDF5 文件
在实验的一开始，我们下载下来的预训练模型 mobilenet_v2_weights_tf_dim_ordering_tf_kernels_1.0_224.h5 是 HDF5 格式的文件，可以将保存的模型视为单个二进制 blob，里面同时保存了模型权重、模型结构和优化器配置。
SavedModel
在 TensorFlow 2 中，还提供了 SavedModel 方式来保存模型，SavedModel 的优点是与语言无关，如可以在 Python 中训练模型，然后在 Java 中加载。另外使用 TensorFlow Serving 来部署模型时必须使用 SavedModel 格式，SavedModel 转换方法具体实现如下。

import tensorflow as tf
import time

saved_model_path = './saved_models/{}'.format(int(time.time()))
# 创建一个 SavedModel，并将其放在带有 tf.keras.experimental.export_saved_model 的带时间戳的目录中
tf.keras.models.save_model(model, saved_model_path)

在 saved_model_path 目录下，

.
├── assets  
├── saved_model.pb  
└── variables   
    ├── variables.data-00000-of-00001  
    └── variables.index  

saved_model.pb 为数据流图文件，它包含图形结构， variables 文件夹中保存的是 ckpt 文件集合，variables.data-xxx 保存了参数的值，variables.index 保存了对应的各个参数。