使用 Spectrum LSF 设置多集群和作业转发

使用 Spectrum LSF 设置多集群和作业转发

以下示例是有关如何使用 Spectrum LSF设置多集群和作业转发的指南。 此示例说明了集群是本地集群，另一个在云中的常见情况。

此示例假定标注为 “OnPremiseCluster” 的内部部署集群使用子网 192.168.0.0/24 ，其管理主机使用 192.168.0.4 (内部部署管理)。 标注为 “HPCCluster” 的云集群使用子网 10.244.128.0/24 ，其管理主机使用 10.244.128.37 (icgen2host-10-244-128-37)。 这两个配置目录都位于 /opt/ibm/lsf/conf中，但您可以根据集群配置来更改目录。

(1) 以下是云集群的 /etc/hosts 文件的示例。 您需要确保 LSF 管理主机的主机名是 DNS-resolveable。

…
10.244.128.61 icgen2host-10-244-128-61
10.244.128.62 icgen2host-10-244-128-62
10.244.128.63 icgen2host-10-244-128-63

192.168.0.4 on-premise-management # added

对于本地 /etc/hosts 文件，请确保在云集群中添加有关管理主机的信息:

10.244.128.37 icgen2host-10-244-128-37 #added

(2) 这两个集群都需要相互识别，因此您需要修改 /opt/ibm/lsf/conf/lsf.shared。 此配置文件在两个集群中应该相同。

…
Begin Cluster
ClusterName Servers # Keyword
# modified
HPCCluster (icgen2host-10-244-128-37) # modified
OnPremiseCluster (on-premise-management) # modified
End Cluster
…

(3) 这两个集群配置为具有不同的 lsb.queues 文件。 在云集群中，您需要将以下行附加到 /opt/ibm/lsf/conf/lsbatch/HPCCluster/configdir/lsb.queues 以注册接收队列:

…
Begin Queue
QUEUE_NAME=recv_q
RCVJOBS_FROM=OnPremiseCluster
PRIORITY=30
NICE=20
RC_HOSTS=all
End Queue

本地集群配置为在 /opt/ibm/lsf/conf/lsbatch/OnPremiseCluster/configdir/lsb.queues处具有发送队列:
…
Begin Queue
QUEUE_NAME=send_q
SNDJOBS_TO=recv_q@HPCCluster
PRIORITY=30
NICE=20
End Queue

(4) 通过运行以下命令来重新启动这两个集群:

$ lsfrestart

(5) 重新启动这两个集群后，现在可以将作业从本地转发到云。 在本地集群中，可以测试以下作业:

$ bsub -q send_q sh -c ‘echo $HOSTNAME > /home/lsfadmin/shared/mc-test.txt’

您可以看到该作业出现在 HPCCluster 上，网址为 10.244.128.37。

$ bjobs -aw

JOBID USER STAT QUEUE FROM_HOST EXEC_HOST JOB_NAME SUBMIT_TIME
304 lsfadmin DONE recv_q on-premise-management@OnPremiseCluster:911 icgen2host-10-244-128-39 sh -c ‘echo $HOSTNAME > /home/lsfadmin/shared/mc-test.txt’ Jun 17 02:27