在 IBM Cloud 上使用 Spectrum LSF 管理数据

在 IBM Cloud 上使用 Spectrum LSF 管理数据

在云环境中处理 HPC 工作负载时，要解决的一个关键挑战是如何以最佳方式管理运行工作负载所需的数据，以及可能需要分析以进行进一步处理和决策的输出。 通过使用部署在 IBM Cloud®上的 IBM® Spectrum LSF 集群，您可以使用以下方法来管理数据。

使用 IBM Cloud 进行混合设置

如果您的安装正在使用 VPN 或直接链接将本地 Spectrum LSF 环境连接到 IBM Cloud上的 Spectrum LSF 集群， 您可以配置 LSF 多集群功能，并使用 Spectrum LSF Data Manager 组件将数据从本地登台到 IBM Cloud上的 Spectrum LSF 集群。

通过本地集群，数据通常驻留在安装到每个计算节点上的一个或多个文件系统上。 通常，您不需要考虑数据位置或位置 (某些工作负载确实受益于与文件管理器 “更接近” ，而 IBM Spectrum LSF 具有许多允许您考虑数据位置的功能)。

在混合设置中，工作可以在本地和云中运行，数据如何和何时移入和移出云很重要。 不幸的是，这并没有一个一刀切的解决方案，你的数据移动策略取决于多个因素:

• 将工作负载发送到云的频率和数量-您是发送少量作业还是发送数千个作业?
• 该数据的更改频率-数据集是静态的还是不断变化的?
• 数据大小-需要移动多少?
• 每个作业的数据唯一性-每个作业都需要唯一的数据输入，还是大部分作业都在复用或共享公共数据?
• 工作负载的运行时-如果将数据获取到云所用的计算时间与时间的比率较低，那么在云上运行该工作负载可能成本效益不高

对于静态数据需求或具有少量增量更改的数据需求，通过使用 IBM Aspera之类的解决方案，在本地和云之间镜像数据集可能具有成本效益。 在创建集群并按调度或按作业进行再同步时，可以批量移动数据，以确保最新的更改可用。

对于具有唯一需求的作业，可以将数据需求指定为作业提交的一部分 (bsub -f) ，并在作业运行时将文件传输到计算节点，并在完成后将结果传输回计算节点。 在这种情况下，数据完全是瞬态的，在取消供应计算节点时将被擦除。

随着数据传输时间的增加，示例解决方案的效率会降低，因为在传输数据之前会供应计算节点，在取消供应节点之前会传输回结果。

LSF 的数据管理器组件通过独立于作业调度数据移动来解决此问题。 在供应任何节点之前，会将输入文件传输到云存储器，在取消供应节点之后，会将结果传输回云存储器。 Data Manager 还会取消重复传输，避免重复传输的文件与重复传输的文件相同。 在执行实验类型分析或回归的设计时，以及在大多数数据在数千个或数十万个作业之间通用的情况下运行验证时，这一点很重要。

为了进一步减少数据移动，还可以在云中进行预处理和后处理。 LSF 的 Application Center 提供了一个 Web 门户网站和 restful API ，它允许将作业直接提交到云集群，并在作业或云中的数据上启动远程可视化工具。 为支持常见输出格式的可视化而构建的 Application Center。 它还具有一个客户机组件，可用于将数据从笔记本电脑直接上载或下载到云集群。

通过云中的 IBM Spectrum LSF 集群部署的 NFS 实例可用作具有数据管理器配置的目标。 当数据在 NFS上可用时，它对 Spectrum LSF 集群的管理节点和工作程序节点可见。

IBM Cloud 上的独立集群

借助云上的专用或独立集群，您的数据将驻留在云中。 您可以使用 IBM Cloud Object Storage 将数据引入 IBM Cloud 帐户。 Object Storage 提供了一个廉价且可靠的选项来管理 IBM Cloud中的数据。 当数据在 Object Storage中可用时，可以将 Object Storage 存储区安装到管理节点上，或者将数据从 Object Storage 存储区复制到 NFS 实例，以使数据对 Spectrum LSF 集群的管理节点和工作程序节点可见。