【TensorFlow Hub】：有 100 个预训练模型等你用

要访问TensorFlow Hub，请单击此处 — https://www.tensorflow.org/hub

一、说明

        TensorFlow Hub是一个库，用于在TensorFlow中发布，发现和使用可重用模型。它提供了一种使用预训练模型执行各种任务（如图像分类、文本分析等）的简单方法。

        TensorFlow Hub提供了广泛的预训练模型，由TensorFlow和更广泛的机器学习社区的研究人员和工程师开发。

        以下是TensorFlow Hub中可用的模型类型的一些示例：

1. 图像分类模型：这些模型在标记图像的大型数据集上进行训练，可以将图像分类为各种类别。TensorFlow Hub中一些流行的图像分类模型包括Inception，MobileNet，ResNet和VGG。
2. 对象检测模型：这些模型可以检测和定位图像中的对象。TensorFlow Hub中一些流行的对象检测模型包括Faster R-CNN和YOLO。
3. 自然语言处理 （NLP） 模型：这些模型可以分析文本并执行情绪分析、文本分类和语言翻译等任务。TensorFlow Hub中一些流行的NLP模型包括BERT和ALBERT。
4. 语音识别模型：这些模型可以将语音转录为文本。TensorFlow Hub 中一些流行的语音识别模型包括 wav2vec2、spice 和 yamnet。
5. 生成模型：这些模型可以根据输入数据生成新内容，例如图像或文本。TensorFlow Hub中一些流行的生成模型包括Progressive GAN和BigGAN。
6. 迁移学习模型：这些模型在大型数据集上预先训练，可以使用较小的数据集针对特定任务进行微调。TensorFlow Hub 中的迁移学习模型可用于各种任务，例如图像分类、对象检测、分割和文本分析。

        TensorFlow Hub提供了一种方便的方式来访问这些预先训练的模型，并将其用于各种机器学习任务。这些模型有多种格式，例如 TensorFlow SavedModel、Keras 模型和 TensorFlow.js 模型，可以轻松将它们集成到您的机器学习管道中。

二、安装和使用

2.1 安装 TensorFlow 和 TensorFlow Hub：

        在使用 TensorFlow Hub 之前，您需要同时安装 TensorFlow 和 TensorFlow Hub。您可以在命令提示符或终端中使用 pip 安装它们：

pip install tensorflow
pip install tensorflow-hub 

        这将安装最新版本的TensorFlow和TensorFlow Hub。

三、从 TensorFlow Hub 加载预训练模型：

        您可以在TensorFlow Hub网站（https://tfhub.dev/）上浏览可用的模型。

        要加载预先训练的模型，您首先需要从TensorFlow Hub网站获取其URL。例如，如果要使用在 ImageNet 2K 数据集上预先训练的EfficientNet_v1_s模型进行图像分类，则可以使用以下 URL：

module_url = "https://tfhub.dev/google/imagenet/efficientnet_v2_imagenet1k_s/classification/2"

        接下来，您可以使用类和 URL 创建 Keras 层：hub.KerasLayer

import tensorflow as tf
import tensorflow_hub as hub

feature_extractor = hub.KerasLayer(module_url, input_shape=(384,384,3))

        在此示例中，我们将创建一个 Keras 层，用于从图像中提取特征。 input_shape 参数指定输入图像的形状，在本例中为 384x384 像素，具有 3 个颜色通道 (RGB)。

3.1 使用预先训练的模型执行任务 

        加载预训练模型后，可以使用它来执行特定任务。例如，如果您随机拍摄老虎的图像，则可以执行以下操作：

import numpy as np
import PIL.Image as Image
import matplotlib.pyplot as plt

image = Image.open("image.jpg").resize((384,384))
plt.imshow(image)
plt.show()
image_array = np.array(image) / 255.0
image_batch = np.expand_dims(image_array, axis=0)

features = feature_extractor(image_batch)

输出：

        在此示例中，我们从文件加载图像，将其大小调整为 384x384 像素，显示图像，将其转换为 NumPy 数组，并将其规范化为 0 到 1 之间的值。然后，我们向数组添加一个额外的维度来创建一批图像（因为预训练的模型需要一批图像作为输入）。最后，我们使用预先训练的EfficientNet_v2_s模型对图像进行分类。

labels_file = "https://storage.googleapis.com/download.tensorflow.org/data/ImageNetLabels.txt"

#download labels and creates a maps
downloaded_file = tf.keras.utils.get_file("labels.txt", origin=labels_file)

classes = []

with open(downloaded_file) as f:
  labels = f.readlines()
  classes = [l.strip() for l in labels]

        此代码段使用 TensorFlow 库从 Google Cloud Storage 存储桶下载包含 ImageNet 数据集标签的文本文件。文本文件的 URL 存储在 labels_file 变量中。tf.keras.utils.get_file() 然后使用该函数从 URL 指定的 labels_file 下载文件，并将其以名称“labels.txt”保存在本地。 get_file() 函数在本地缓存文件，因此如果再次请求相同的 URL，将使用本地缓存的文件，而不是再次下载文件。

        下载文件后，代码将使用 open() 函数打开它并读取其内容。 readlines() 函数返回一个字符串列表，每个字符串代表文件中的一行。然后，代码使用 strip() 函数删除每行中的所有前导或尾随空格，并将清理后的标签存储在名为“classes”的列表中。

        生成的类列表包含 ImageNet 数据集的 1001 个类（1000 个主类 + 1 个“背景”类）的标签。该列表可用于将神经网络的输出映射到相应的标签以进行显示或进一步分析。    

top_5 = tf.argsort(features, axis=-1, direction="DESCENDING")[0][:5].numpy()

features_array = np.array(features)
features_flatten = features_array.flatten()

for i, item in enumerate(top_5):
  class_index = item +1
  line = classes[class_index].upper()
  prob = round(features_flatten[item]*10,2)
  print(f'Predicted class : {line} : with probability : {prob}%')

输出：

Predicted class : TIGER : with probability : 90.79%
Predicted class : TIGER CAT : with probability : 77.36%
Predicted class : JAGUAR : with probability : 37.36%
Predicted class : LYNX : with probability : 29.64%
Predicted class : LEOPARD : with probability : 25.47%

        此代码片段使用 TensorFlow 库来预测输入图像的前 5 个最有可能的 ImageNet 类。

        变量特征包含输入图像的神经网络模型的输出。 tf.argsort() 函数用于按降序对输出值进行排序并返回排序值的索引。通过使用 [0][:5] 对结果张量进行切片来选择前 5 个索引，然后使用 .numpy() 方法将其转换为 NumPy 数组。

      

        features_array 变量是通过将特征张量转换为 NumPy 数组来创建的。 features_flatten 变量是通过将 features_array 展平为一维数组而创建的。

        然后使用 for 循环迭代前 5 个索引。对于每个索引，通过向索引添加 1（因为索引是从 0 开始的，但类标签是从 1 开始的）并将标签转换为大写，从类列表中检索相应的 ImageNet 类标签。

        最后，使用 print() 函数将预测的类标签及其相应的概率打印到控制台。输出将显示前 5 个最有可能的 ImageNet 类别中每个类别的预测类别及其对应的概率。

   

3.2 微调预训练模型（可选）：

        如果预训练的模型不能完全满足您的要求，您可以通过添加新层或在新数据集上重新训练它来对其进行微调。下面是如何微调新分类任务的EfficientNet_v2_s模型的示例：

import tensorflow as tf
import tensorflow_hub as hub
from tensorflow.keras import layers

model_url = "https://tfhub.dev/google/imagenet/efficientnet_v2_imagenet1k_s/feature_vector/2"
model = hub.KerasLayer(model_url, trainable=True)

num_classes = 10 #just an example

fine_tuning_model = tf.keras.Sequential([
    model,
    layers.Dense(num_classes, activation='softmax')
])

fine_tuning_model.compile(
    optimizer=tf.keras.optimizers.Adam(),
    loss=tf.keras.losses.CategoricalCrossentropy(from_logits=True),
    metrics=[tf.keras.metrics.CategoricalAccuracy()]
)

epochs = 10
batch_size = 32

fine_tuning_model.fit(
    train_data,
    epochs=epochs,
    batch_size=batch_size,
    validation_data=val_data
)

test_loss, test_acc = fine_tuning_model.evaluate(test_data)
print('Test accuracy:', test_acc)

        在此示例中，我们通过添加新的密集层进行分类来创建新模型。然后，我们使用优化器、损失函数和指标编译模型。最后，我们在指定数量的 epoch 的新数据集上训练模型。

四、结论

        这些是安装和使用 TensorFlow Hub 的基本步骤。TensorFlow Hub 提供了更多功能，例如缓存、版本控制等，因此请务必查看文档以获取更多信息。

资料引用：

A.瓦斯瓦尼，N.沙泽尔，N.帕尔马，J.乌什科雷特，L.琼斯，A.戈麦斯，{.凯撒  阿琼·萨卡尔