概念：HPC 分布式计算 云计算 异构计算

高性能计算 (High Performance Computing, HPC)
泛指通过聚合计算能力来提供比传统计算机和服务器更强大的计算性能，HPC 或超级计算环境可以使多个节点（计算机）以集群（互联组）的形式协同作业，在短时间内执行海量计算，从容应对这些规模庞大而又极其复杂的负载挑战。

分布式计算将计算任务拆解成无需高频的单节点任务并分发给 HPC 系统内互联的节点、或分散在世界各地的闲置资源，以实现更大规模的计算。斯坦福大学的 Folding@HOME，加州大学伯克利的BOINC 开放网络计算系统等都是其中优秀的代表。再如，当前工业仿真领域的算法软件（如 CFD, CAE, EDA）在商业客户的使用中，通常都需要进行软-硬件适配调优，以达到最大产出。

云计算 (cloud computing) 泛指通过网络交付计算等服务。高性能计算系统建设成本昂贵，更新周期长，且大部分科研场景对计算的需求有波峰波谷，因此，全球科研人员已开始逐渐转向云上的高性能计算解决方案。根据 Rescale 2022 State of Computational Engineering Report，53%的被访机构(欧美日韩地区)已将科学计算任务迁移至云上。

异构计算泛指非传统 CPU 的计算体系，其中包括GPU，FPGA，SoC 等方案。以 Nvidia 为首的 GPU厂商，为 AI 的发展做出了重大贡献。GPU 的计算范式和 AI 算法完美契合。FPGA 让硬件可编程化，进一步加深了算法和算力耦合的可能性。SoC 通过将部分功能直接集成在硬件上，实现具体场景中效率的极致化，让“通过硬件设计解决软件难题”的思路成为可能。