[cryoEM] cryoSPARC简介

cryoSPARC系统结构概述

cryoSPARC是一个后端和前端高性能计算软件系统，为单颗粒冷冻电镜提供数据处理和图像分析能力，以及丰富的基于浏览器的用户界面和命令行工具。

Master-worker模式

系统基于主用户模式。

• 主进程（web应用，核心应用程序和MongoDB数据库）一起在主节点上运行。主节点需要相对轻量级的资源（２+ CPU< 16GB+ RAM）。
• 工作程序进程可以在具有GPU的任何可用节点上生成，负责所有实际计算和数据处理，并由主节点调度。注意：同一节点可以同时充当主节点和辅助节点。
  

典型系统设置

Single Workstation

master和worker在一台机器上运行。要求GPU资源可以用于工作进程。

Master-Worker

master-worker设置中，主程序安装在轻量级机器上，工作进程安装在一个或者多个GPU服务器上。这是最灵活的设置。此设置由三个主要要求：

1. 所有节点都可以访问共享文件系统。该文件爱你系统是项目目录所在处，允许所有节点在作业开始和完成时读取和写入结果；
2. 主节点对每个工作节点都有无密码的SSH访问，SSH用于从主节点上执行工作节点上的作业；
3. 所有的工作节点都可以TCP访问主节点上的10个连续端口（默认端口是39000-39010）。这些端口用于通过基于HTTP远程过程调用的API请求进行元数据通信。

Clusters

集群集成示例，其中两个节点都可以访问共享文件系统。（目前用不到，介绍略过）

系统要求

component	requirement
操作系统	linux系统，(Ubuntu, CentOS)
shell	bash
User account	cryosparcuser
software	CUDA >=9.2, <=10.2 (worker nodes only) GCC、 curl(optional)
文件系统	所有节点共享
CPU	4+ cores（推荐8+ cores at 2.8GHz+）
RAM	16GB+（推荐32+ DDR4）
Networks	1 Gbps link to storage servers （推荐10+ Gbps link to storage servers ）

磁盘和压缩

快速磁盘是有效处理冷EM数据的必要条件。 在预处理阶段（例如运动校正）需要快速的顺序读/写吞吐量，其中数据量非常大(几十TB)，计算量相对较低(运动校正的顺序处理、CTF估计、粒子拾取等。 )
在RAID配置中旋转磁盘阵列用于存储大型原始数据文件，通常集群文件系统用于大型系统。 根据经验，在预处理过程中要使4-GPU机器饱和，需要持续的连续读1000MB/s速度。

固态存储（SSD）

用来细化和重建的工作节点非常推荐使用SSD。冷冻SPARC粒子处理算法依赖于随机访问模式和多次通过数据，而不是一次顺序读取数据。 使用允许快速随机读取的存储介质将大大加快处理速度。

GPUs

至少有一个工作节点必须具有可用的GPU才能运行完整的cryoSPARC作业集，但没有GPU的工作节点也可以连接到只运行CPU的作业。 最好保持CUDA版本一致。

浏览器要求

最新的谷歌浏览器。

---

Reference: cryoSPARC Guide