CPU+GPU将开启HPC新时代
CPU+GPU将开启HPC新时代
(2011-10-12 13:36:57)
标签： 校园 |
分类： 工作篇 |
目前，功耗和性能是困扰HPC的两大难题。AMD 8/12 核的皓龙处理器可以为HPC 降低能耗，它可以根据不同的应用关掉无用的核心，当机房不够大供电能力不够强的时候可以对芯片进行功耗上限设置，或者通过降频等技术来完成能耗的节省。
按照摩尔定律，CPU 一般的更新换代时间是18个月，也就是说它能够在18个月后性能就可以翻一番。而GPU 的更新速度是CPU 的1.5 倍，也就是说通常12 个月的时间GPU 的性能就翻了一番。大概五年前，CPU 和GPU 的晶体管数量是差不多的，而现在GPU 的顶端产品大概可以拥有超过20 亿个晶体管，远超过了CPU集成的晶体管数量。CPU里主要是做分支运算、预测等工作的，而在大规模并行尤其是数据并行计算领域，目前高端的GPU 已经拥有了无与伦比的处理能力。
而且CPU里面大约有超过40%是运算单元，只有5%是逻辑单元，发展到现在，最快的CPU和GPU产品比较，在单精度32 位计算上GPU的运算速度是CPU的50倍，64位运算上是10倍，快很多。此外在能耗上，一台超级计算机一天就要消耗2万元的电，如果用GPU 整个规模就可以降低。同样的计算能力，GPU可以把能耗降到1/5或不到一半的规模。
传统的GPU由于缺少通用的高级编程语言的支持，很难做编程，所以一般很少人用。但随着通用计算设备上的统一、开放标准OpenCL的推出和不断发展完善，用户利用GPU做通用计算从实现的角度来说变得越来越容易了。而且如前文所述GPU的每瓦性能又确实很高，所以，越来越多的研究人员和商业组织开始利用GPU来完成大规模的计算，并开创了一个新的研究领域：基于GPU 的通用并行计算。
目前已成功应用于气象模拟、基因工程、石油勘探、运动规划、代数运算、优化计算、偏微分方程、数值求解、流体模拟、数据库应用、频谱分析等领域，也包括图形图像处理、金融统计预测、智能信息处理系统、数据挖掘工具等商业化应用。同时，也产生了一些针对G PU 开发的通用计算工具包，能够基于GPU 平台对FFT、BLAS、排序及线性方程组求解等科学计算进行优化实现，与单纯依靠CPU实现的算法相比，平均性能提高了近20倍。
AMD于2006年成功整合了ATI，所以利用GPU做通用计算的技术有着得天独厚的优势。目前高端GPU 虽然有很强的计算能力，但很多时候由于受PCIE 总线带宽的限制，CPU 和GPU 之间大规模的数据交互就成了很多高性能计算任务的瓶颈。
为此，AMD 推出融合了CPU 和具有通用计算能力GPU的产品—Fusion APU。目前开发的产品主要用于笔记本、台式机和平板电脑等，相信未来也可以将类似技术迁移到服务器平台。全新的APU 架构完美解决了原有平台架构中CPU 和GPU之间大规模的数据交互耗时问题，为用户灵活利用CPU 和GPU 编程克服了一个最主要的障碍，并进一步显著提升了每瓦特电量的计算能力，由此可以看出，G P U + C P U 的融合是未来通用计算的必然趋势。（刘文卓：AMD中国区技术总监）
由教育部科技发展中心主办，《中国教育网络》杂志承办，AMD公司独家赞助的“2011年高等院校高性能计算综合技能及学科应用培训班”在北京清华大学和广州中山大学成功举办。
来自全国十多个省市的53所高校的物理、化学、能源、测绘、遥感、生物、制药、超算中心等不同学科领域的老师和专家齐聚一堂，共同探讨高性能计算在各学科中的应用。
北京师范大学天体物理教研室主任张同杰, 中山大学广东省计算科学重点实验室高性能计算应用研发中心主任张永东, 上海交通大学高性能计算中心副主任林新华, 以及曙光公司、AMD公司的资深专家就敏捷的并行计算程序开发方法、多核程序编制的关键性挑战、异构平台的统一编程环境、高性能计算综合技能实践经验交流、Open CL跨平台的多核与众核编程方式等课题，做精彩的报告。
广州：2011年8月16日—8月19日
http://www.edu.cn/html/info/opencl/
云让HPC平台动起来
“云”对超算中心的吸引力
伴随着高性能计算性能的不断提升和系统的日益庞大，单一计算平台与不同应用多样化需求的矛盾也日益突出，同时后期部署、管理、能耗、散热等成本也不断提高，导致实际的计算成本居高不下，单纯的CPU利用率已不能用来作为衡量高性能计算中心服务水平和效益的惟一指标。
云计算，作为一种新型的计算模式，可以将应用、数据和IT 资源以服务的方式通过网络提供给用户使用，在提供高性能计算用户所需的自主性和安全支持以外，实现更大的资源灵活性和更丰富的使用计量方式，成为许多用户优先考虑的解决方案。采用云计算的基础架构，高性能计算中心可以自动地管理和动态地分配、部署、配置、重新配置以及回收资源，也可以自动部署多种应用平台，从而根据不同需求实现快速高效、动态优化的资源分配。利用云计算的特性，高性能计算中心既可以为传统的计算服务提供更加灵活扩展的计算资源，也可以为各种不同项目提供动态使用的“专属系统”。
传统“云”方案的挑战
但是，如何有效利用云的方式取决于应用，对于计算密集型和I/O密集型的高性能计算应用，传统的云计算解决方案往往束手无措，其主要的障碍包括：
I/O瓶颈
当前许多云计算架构建立在服务器虚拟化技术之上。由于虚拟机的I/O实现机制不同，在许多系统平台上会严重影响应用的网络延迟和访问带宽，造成额外的资源需求，降低了整体运算性能。对于一些基于MPI的并行程序，其性能甚至可以相差数倍。
数据瓶颈
高性能计算通常需要对大量的非结构化数据进行访问，由于云计算环境中所提供的计算平台具有多样性和灵活性的特点，需要考虑为不同平台提供统一的高速数据访问性能、全局命名空间和多种应用访问协议支持，同时支持和计算资源快速分配相匹配的数据管理功能。根据应用需求，存储容量应当能够动态增加或移出，确保信息始终可用。
管理瓶颈
传统的高性能计算，其资源一般相对固定，通常通过资源和负载管理软件来提高资源的利用率，在云计算环境中，资源上限远大于一般应用的需求相比，如何有效地结合负载管理和资源配送，提高总体系统利用率和用户服务质量，同时满足特定应用高峰时间的需求，是构建高性能计算云所必需考虑的问题。
因此，对于高性能计算中心来说，需要结合其自身的应用特点和云计算平台的优势，通过虚拟化技术和自动化技术，同时支持物理机和虚拟机环境，实现硬件资源和软件资源的统一管理、统一分配、统一部署、统一监控和统一备份，打破单个运算对资源的独占，提供动态的高性能计算服务平台。
高性能计算云的构成
高性能计算云包含以下关键组成技术：
统一的用户和服务管理平台
需要提供统一的云计算服务管理门户，进行整体资源管理和服务流程管理，使平台管理员和用户可以进行自助式的各项服务管理操作，包括资源池的管理，资源管理和监控，用户服务的开通、停止、变更，用户管理，资源使用情况统计，服务申请及状态查询，能耗与节能策略管理、操作系统镜像和软件包管理等等。
根据高性能计算应用的特点，系统应提供不同的应用模板来支持不同分布式应用(如Hadoop, MPI集群)的快速部署，以及服务器之间的关联关系，如IP地址的指向，端口的匹配等等。
统一资源池管理
在传统的计算资源管理模式中，管理员需要考虑每一个计算资源、每一个应用系统的配置情况，需要考虑每一个应用系统所需要的各种计算资源，包括服务器、存储、网络、应用系统等等，这种管理模式的管理成本高，也让管理员的工作变得非常复杂，需要人为考虑和干预的过程非常多，容易造成管理上的失误。同时，管理员很难对数据中心内的计算资源和应用系统进行全盘考虑，不利于数据中心的整体优化。
云在对计算资源的管理模式上采用池化的办法，通过服务器、存储、网络等虚拟化技术将计算资源按照不同的标准组织成不同的资源池。在一个资源池内，可以包括服务器、存储空间、网络端口等。这样，在一个资源池中我们就可以为某一个应用系统提供所需要的所有资源。通过云计算的自动化功能，云计算的管理员可以方便、快速地在资源池中定制化地选择应用系统需要的计算资源配置，并在使用结束后进行快速回收。
支持物理机和虚拟机环境的动态部署引擎
为了提供计算所必需的高性能，需要同时提供包括虚拟机和物理机环境的快速、动态部署功能，并支持专用的高性能、低时延计算网络，如Infiniband、万兆以太网等。
在整体方案中，通常可以划分一部分资源进行虚拟化，从而提供一个共享的开发测试环境给用户，便于用户在正式提交作业之前进行程序的调试和试运行。在一些具体的应用场景上，针对一些对性能要求很高的计算任务，虚拟化带来的性能开销不可忽略，因此可以考虑在不虚拟化的情况下进行资源的分配和管理。
灵活的服务接口
最终用户可以通过云计算管理平台获取自己项目独占的计算资源，包括硬件、应用软件和操作系统等，用户可以在计算资源上按照自己的需求进行个性化调整。另外，用户也可以通过云计算管理平台部署的计算资源上的作业管理系统，以排队的方式和其他用户共享计算资源，来进行作业的运算。
根据多年的探索和实践，IBM正在积极地与行业领先的独立软件开发商、企业以及高校合作，将私有云计算平台扩展到高性能计算领域。通过高性能计算云管理套件，可以将独立的高性能计算资源连接成一个私有云，从而帮助用户更高效地利用他们的高性能计算资源。其参考架构如图1所示。
图1 独立的高性能计算资源连接成一个私有云
为实现更智慧的计算平台，需要采用新的方法来设计和建设高性能计算中心，以便做到专为数据设计，针对任务进行调优，并且在云中管理。
0
顶
| 已投稿到： |
排行榜
|
|---|