超级计算机软件系统,天河一号超级计算机：软硬件系统概述

TH-1A超级计算机系统由国防科学技术大学于2010年8月研制成功。系统峰值性能4700TFlops，LINPACK实测性能为2566TFlops，在2010年11月世界超级计算机TOP 500排名中位列世界第一。TH-1A系统已安装在国家超级计算天津中心，并作为中国国家网格主机系统，提供高性能计算服务。

TH-1A采用由CPU和GPU协同的异构混合体系结构。系统硬件系统由服务分系统、计算分系统、通信分系统、I/O分系统和监控诊断分系统构成；系统软件由操作系统、编译系统和并行程序开发环境构成。TH-1A系统共包含7168个计算结点和1024个服务结点，内存总容量262TB，存储总容量2PB。每个计算结点包含2个Intel CPU和一个NVIDIA GPU，每个服务结点包含2个飞腾-1000 CPU。全系统由140个机柜组成，占地总面积700平方米，总功耗4.04MW系统总功耗。

TH-1A采用异构融合体系结构，通过CPU和GPU相融合的高效并行计算体系结构，采用资源管理异构协同技术和混合编程技术，充分发挥CPU和GPU的协同计算能力，满足应用对计算资源的不同需求。

研制成功64位多核多线程自主微处理器FT-1000。FT-1000微处理器采用多核多线程体系结构，含8核64线程。系统采用片上并行系统(PSoC)设计技术，片内集成DDR3存控、PCIe 2.0 I/O接口和CPU直连接口。FT-1000微处理器主频1GHz，峰值性能8GFlops。

基于高阶路由的定制高速互连通信网络采用片上高阶网络体系结构技术，自主设计了高效通信协议、高阶瓦片式(Tile)片上交换网络和高密度片间互连网络。高速互连网络链路双向通信带宽160Gbps、单背板交换密度达到61.44Tbps，分别为当前国际主流商用互连IB QDR的2倍和2.37倍。

Kylin操作系统提供高性能虚拟计算域服务。虚拟计算域采用高效用户容器技术、负载均衡技术和虚拟化网络终端技术，在高性能计算机系统中实现了安全隔离和可定制用户环境功能，有效提升了安全性和易用性。

编译系统提供异构编程框架和多级并行编译优化支持。异构编程框架TH-HPI采用层次式架构，通过隐藏异构技术细节，简化异构编程难度。编译系统采用了优化资源利用的多核多线调度机制，提供多级并行动态负载平衡算法和全程序过程间分析等编译优化算法，提高异构系统计算效率。

并行程序开发环境(FSE)提供了基于组件化的可扩展开发运行环境，包括并行任务调度器、网络化集成开发平台和并行应用工具组件，提供基于用户客户端的并行程序、开发、编译、运行和调试的全过程支持。

系统提供软硬一体的低功耗控制支持。系统基于一体化能耗管理框架，通过监控系统自反馈冷却调节、处理器调频调压和自适应结点能耗状态转换等方法，有效降低了系统运行功耗。

目前，TH-1A已在国家超级计算天津中心投入业务运行。目前系统已在石油勘探、高端装备研制、生物医药、动漫设计、新能源、新材料、工程设计与仿真分析、气象预报、遥感数据处理、金融风险分析等领域获得成功应用。

Abstract:This paper presents an overview of TianHe-1A (TH-1A) supercomputer, which is built by National University of Defense Technology of China (NUDT). TH-1A adopts a hybrid architecture by integrating CPUs and GPUs, and its interconnect network is a proprietary high-speed communication network. The theoretical peak performance of TH-1A is 4700 TFlops, and its LINPACK test result is 2566 TFlops. It was ranked the No. 1 on the TOP500 List released in November, 2010. TH-1A is now deployed in National Supercomputer Center in Tianjin and provides high performance computing services. TH-1A has played an important role in many applications, such as oil exploration, weather forecast, bio-medical research.

引用本文

Xue-Jun Yang (杨学军), Senior Member, CCF, Member, A. 天河一号超级计算机：软硬件系统概述[J]. , 2011, 26(3): 344-351.

Xue-Jun Yang (杨学军), Senior Member, CCF, Member, ACM, IEEE, Xiang-Ke Liao (廖湘科), Senior Member CCF, Member, ACM, Kai Lu . The TianHe-1A Supercomputer: Its Hardware and Software[J]. , 2011, 26(3): 344-351.