如何创建TensorFlow服务器集群

官方文档翻译

本文档展示了如何创建Tensorflow服务器集群，以及如何在该集群中分配计算图。我们假设您熟悉辨析TensorFlow程序的基本概念

你好，分布式Tensorflow

要查看一个简单的Tensorflow集群，请执行以下操作：

# Start a TensorFlow server as a single-process "cluster".
$ python
>>> import tensorflow as tf
>>> c = tf.constant("Hello, distributed TensorFlow!")
>>> server = tf.train.Server.create_local_server()
>>> sess = tf.Session(server.target)  # Create a session on the server.
>>> sess.run(c)
'Hello, distributed TensorFlow!'

该tf.train.Server.create_local_server方法创建一个具有进程内服务器的单进程集群。

创建一个集群

TensorFlow“集群”是参与TensorFlow图的分布式执行的一组“任务”。每个任务都与一个TensorFlow“服务器”相关联，该服务器包含一个可用于创建会话的“主”和一个在图中执行操作的“工作人员”。一个集群也可以分成一个或多个“工作”，每个工作包含一个或多个任务。

要创建群集，请在群集中为每个任务启动一个TensorFlow服务器。每个任务通常运行在不同的机器上，但是可以在同一台机器上运行多个任务（例如，控制不同的GPU设备）。在每个任务中，执行以下操作：

1. 创建一个tf.train.ClusterSpec描述集群中的所有任务。这应该是相同的每个任务。
2. 创建一个tf.train.Server，传递tf.train.ClusterSpec给构造函数，并使用作业名称和任务索引标识本地任务。

创建一个tf.train.ClusterSpec来描述集群

群集规范字典将作业名称映射到网络地址列表。将这个字典传递给tf.train.ClusterSpec 构造函数。例如：

|da|da|
|:**|:==:|
|da|das|