如何使用Kaggle?

Tensor Processing Units (TPUs)

现在可以在Kaggle上免费使用TPU。 TPU是专门用于深度学习任务的硬件加速器。Tensorflow 2.1通过Keras高级API以及较低级别的使用自定义训练循环的模型都支持它们。

您每个星期最多可以使用30个小时的TPU，一次最多可以使用3个小时。

本页说明如何: 1) 在Tensorflow和Keras中启用TPU, 2) 调整批次大小和学习率, 3) 优化数据管道以实现快速加速器

TPUs in Keras

将笔记本中的“ Accelerator”开关切换到“ TPU v3-8”后，这就是在Tensorflow Keras中启用TPU训练的方法：

# detect and init the TPU
tpu = tf.distribute.cluster_resolver.TPUClusterResolver()
tf.config.experimental_connect_to_cluster(tpu)
tf.tpu.experimental.initialize_tpu_system(tpu)

# instantiate a distribution strategy
tpu_strategy = tf.distribute.experimental.TPUStrategy(tpu)

# instantiating the model in the strategy scope creates the model on the TPU
with tpu_strategy.scope():
    model = tf.keras.Sequential( … ) # define your model normally
    model.compile( … )

# train model normally
model.fit(training_dataset, epochs=EPOCHS, steps_per_epoch=…)

TPU是网络连接的加速器，您必须首先在网络上找到它们。这就是TPUClusterResolver()所做的。

两条额外的样板行，您可以定义一个TPUStrategy。该对象包含必要的分布式培训代码，这些代码将在具有8个计算核心的TPU上工作（请参阅下面的硬件部分）。

最后，通过在策略范围内实例化模型来使用TPUStrategy。这将在TPU上创建模型。模型大小仅受TPU RAM限制，不受运行Python代码的VM上可用的内存量限制。模型创建和模型训练使用常规的Keras API。

Batch size, learning rate

要快速使用TPU，请增加批次大小。经验法则是每核使用128个元素的批处理（例如：对于具有8个核的TPU，批处理大小为128 * 8 = 1024）。在这种尺寸下，TPU的128x128硬件矩阵乘法器（请参阅下面的硬件部分）最有可能保持忙碌状态。不过，您开始看到有趣的加速效果（批处理大小为每核8个）。在上面的示例中，通过以下代码行，批处理大小随核心数量缩放：

BATCH_SIZE = 16 * tpu_strategy.num_replicas_in_sync

在单个TPU v3-8上运行TPUStrategy时，核心数量为8。这是Kaggle上可用的硬件。在Google Cloud上可用的称为TPU Pod的较大配置上可能更多。

批量较大时，TPU将更快地处理训练数据。这仅在较大的培训批次产生更多“培训工作”并使模型更快地达到所需精度时才有用。这就是为什么经验法则还要求随着批次大小提高学习率。您可以从成比例的增加开始，但是可能需要进行其他调整才能找到给定模型和加速器的最佳学习率时间表。

tf.data.Dataset and TFRecords

由于TPU的速度非常快，因此许多移植到TPU的型号最终都会出现数据瓶颈。 TPU处于闲置状态，等待每个训练时期的大部分时间的数据。 TPU仅从GCS（Google云存储）读取培训数据。如果GCS持续并行地从多个文件中流式传输，则可以维持相当大的吞吐量。遵循几个最佳实践将优化吞吐量：

如果文件太少，GCS将没有足够的流来获得最大吞吐量。如果文件太多，访问每个文件都会浪费时间。

用于TPU训练的数据通常会分摊到适当数量的较大文件中。通常的容器格式是TFRecords。您可以通过编写以下内容从TFRecords文件加载数据集：

# On Kaggle you can also use KaggleDatasets().get_gcs_path() to obtain the GCS path of a Kaggle dataset
filenames = tf.io.gfile.glob("gs://flowers-public/tfrecords-jpeg-512x512/*.tfrec") # list files on GCS
dataset = tf.data.TFRecordDataset(filenames)
dataset = dataset.map(...) # TFRecord decoding here...

要从多个TFRecord文件启用并行流，请修改如下代码：

AUTO = tf.data.experimental.AUTOTUNE
ignore_order = tf.data.Options()
ignore_order.experimental_deterministic = False

# On Kaggle you can also use KaggleDatasets().get_gcs_path() to obtain the GCS path of a Kaggle dataset
filenames = tf.io.gfile.glob("gs://flowers-public/tfrecords-jpeg-512x512/*.tfrec") # list files on GCS
dataset = tf.data.TFRecordDataset(filenames, num_parallel_reads=AUTO)
dataset = dataset.with_options(ignore_order)
dataset = dataset.map(...) # TFRecord decoding here...

这里有两个设置：

num_parallel_reads = AUTO指示API从多个文件读取（如果有）。它会自动计算出多少。
Experiment_deterministic = False禁用数据顺序强制实施。无论如何，我们将对数据进行混洗，因此顺序并不重要。通过此设置，API可以在流入后立即使用任何TFRecord。

这些代码段中省略了一些详细信息，因此请检查样本以获取完整的数据管道代码。在Keras和TensorFlow 2.1中，还可以将训练数据作为内存中的numpy数组发送到TPU。尽管对内存中适合的数据集来说，这可以，但它并不是最有效的方法。

TPU hardware

TPU v3-8板约20英寸（50厘米），是一块相当大的硬件。它具有4个双核TPU芯片，总共8个TPU内核。

每个TPU内核都有一个传统的矢量处理部分（VPU）以及能够处理128x128矩阵的专用矩阵乘法硬件。这是专门加速机器学习工作负载的部分。

TPU配备128GB的高速内存，可以进行更大批量，更大型号以及更大的训练输入。在上面的示例中，您可以尝试使用数据集中也提供的512x512 px输入图像，并查看TPU v3-8轻松处理它们。

TPU monitor

当您在Kaggle上运行TPU工作负载时，单击TPU标尺时会出现性能监视器。

MXU百分比表示TPU计算硬件的利用效率。越高越好。

“空闲时间”百分比衡量TPU空闲等待数据的频率。您应该优化数据管道，以使其尽可能低。

测量大约每10秒刷新一次，仅在TPU运行计算时才出现。

TPU playground competition

我们准备了一个13,000张花朵图像的数据集，供您使用。您可以在以下付费竞赛中尝试TPU：Flower Classification with TPUs