为何建“超算互联网”?李国杰院士的解读和提醒,一文看透高性能计算前景 ...

转自:中国科学报

今年4月,科技部宣布启动国家超算互联网部署工作,十余个国家超级计算中心悉数“入列”,部署在各大高校院所、城市的超算系统也参与其中。自此之后,“超算互联网”成为计算圈关注的焦点。

为什么要建设超算互联网?超算互联网要建成什么样?围绕这些问题,中国工程院院士李国杰在相关工作会上发表了一些观点与看法。

“中国超算已进入世界第一方阵,国产超级计算机多次登顶HPC TOP500排行榜,多次获得戈登·贝尔奖,超算的实际应用也取得不错的成绩。但总体来讲,我们的超算研发设计和生产组装能力较强,但应用能力偏弱。特别是在工业应用方面,与国外相比还有相当大的差距。智能超算的整体性能更差,与国外有五年以上的差距。”李国杰提出:“我们必须抓住这次机遇,尽快补齐超算应用短板。”

李国杰说,人工智能技术的突破对算力提出了迫切的需求,如何挖掘我国超算的潜力,已经成为亟待解决的问题。

他解释道,所谓智能超算,不仅需要单精度和半精度运算,机器学习的预训练也需要64位的双精度计算,因此擅长64位运算的超级计算机和擅长半精度和8位整数计算的智能加速系统应当连成一个整体,不能分别构成相互脱钩的超算互联网和智算互联网。超算应用能力不强,也无法催动人工智能算法的潜力。

目前,在科技部部署下,我国拥有天津、广州、长沙、深圳、济南、无锡、郑州、昆山、成都、西安、太原超算等十余个国家级超算中心,在深圳、北京、横琴、武汉等地已建有高算力的智算中心。那么,超算互联网要建成一个什么样的平台?

李国杰表示,虽然现在国内有一些围绕超算中心建设的联盟组织,但目前各大超算中心“基本上还是一个个的孤岛”,需要尽快连接成一个高效的超算互联网,让各地超算发挥更大作用。

不过他提醒,超算互联网平台的建设目标并不是要把全国的超级计算机聚集起来做成一个超大型的计算机——事实上,多数的应用并不需要调动各地的超算一起来做:“做这件事的重要目标,是要把中国超算的生态做好。”

“超算互联网的理想状态,是像淘宝、京东一样的平台,让各行各业的超算应用APP像雨后春笋一样冒出来,都放在超算互联网平台上,用户可以予取予求。”李国杰说:“届时,需要算力的单位或团体,特别是工业、企业单位,可以像淘宝下单购物一样十分方便、高效地使用超算平台。”

不过,他谈到,建立超算生态是一项重大挑战,需要全国有关的科研人员一起攻关。

李国杰强调,算力不仅是指硬件的计算能力,还包括存力、网络、各类应用软件等等。目前,我国许多超算应用软件还依赖进口,很容易被“卡脖子”。他建议,应该发动各个高校、研究院所成千上万的大学生、研究生以及企业的研发人员,一起研发超算应用软件,“打赢一场中国超算应用软件的人民战争”。

他也坦言,建设超算互联网,把强大的计算能力变成服务能力并非易事,需要做很多工作。

“目前来看,从一个账号连入网络端口就能共享超算,是一项十分复杂的任务。”李国杰说,首先要制定资源接入、共享的专业标准,把超算中心、云计算企业、科研机构等不同来源的算力、数据、软件,汇聚到一个统一的平台上。

“这将是一个公益性很强的平台,需要一支一心为公的团队来运营,必须得到国家有关部门的大力支持,通过平台联合全国各地的力量,真正得到同行信任。”李国杰说。

放眼全球,超算互联网平台建设都是一个新鲜事物,没有经验可供借鉴。

“中国要敢于吃第一只螃蟹。”李国杰说,做好了超算互联网平台,就能为我国算力“新基建”打下一个可持续发展的基础。超算互联网平台可以实现国家超级计算中心之间每秒千亿字节的高速网络互联互通,聚合每秒几百亿亿次的运算能力,将为实现我国的高质量发展和科技自立自强作出历史性的贡献。

在当今数字化时代,高性能计算(HPC)作为一项关键技术,正迅速成为各行各业的核心需求。不论是在职程序员还是在校大学生,懂高性能计算都将大大提升工作及科研、做课题的效率。而且加之2023年大模型的风靡,人工智能加速算力时代的来临。2023年4月17日科技部高新司在天津组织召开国家超算互联网工作启动会。按照计划,到2025年底,国家超算互联网将可形成技术先进、模式创新、服务优质、生态完善的总体布局,有效支撑原始科学创新、重大工程突破、经济高质量发展等目标达成,成为支撑数字中国建设的“高速路”。

超算互联网可将全国众多超算中心连接起来,并连接产业生态中的算力供给、应用开发、运营服务、用户等各方能力和资源,构建一体化超算算力网络和服务平台。其建设的重要目标就是紧密连接供需方,通过市场化的运营和服务体系,实现算力资源统筹调度。启动会上,科技部高新司负责同志表示,科技部将通过超算互联网建设,打造国家算力底座,促进超算算力的一体化运营,助力科技创新和经济社会高质量发展。

1. 高性能计算行业的快速增长

高性能计算在科学、工程、金融、医疗等众多领域都有着广泛的应用。随着数据量和计算需求的不断增长,高性能计算行业也呈现出快速增长的趋势。这为高性能计算专业人才提供了广阔的就业机会。

科学领域:

高性能计算科学家/工程师:负责开发和优化科学计算模型和算法,利用高性能计算技术解决科学问题。

数据科学家:应用高性能计算技术处理和分析大规模数据集,挖掘数据中的模式和趋势。

计算物理学家/化学家/生物学家:运用高性能计算技术进行物理、化学、生物领域的计算模拟和分析。

工程领域:

高性能计算工程师:负责设计、优化和管理高性能计算系统,支持工程仿真和优化工作。

计算流体力学工程师:利用高性能计算进行流体力学模拟和优化,解决流体力学问题。

结构力学工程师:运用高性能计算技术进行结构分析和优化,解决结构力学问题。

金融领域:

量化分析师:使用高性能计算技术进行金融数据分析和建模,开发量化交易策略和风险管理模型。

高频交易程序员:开发和优化使用高性能计算平台执行高频交易策略的交易系统。

风险分析师:利用高性能计算进行风险评估和模拟,支持金融机构的风险管理决策。

医疗领域:

医学图像处理工程师:运用高性能计算技术处理和分析医学图像,辅助医学诊断和研究。

生物信息学工程师:使用高性能计算处理和分析生物信息学数据,从中提取有关基因、蛋白质和疾病的信息。

医疗数据分析师:利用高性能计算技术处理和分析大规模医疗数据,进行疾病预测和流行病学研究。

2. 多样化的就业领域

高性能计算专业人才可以在多个领域找到就业机会。例如,在科学研究领域,高性能计算被广泛应用于气象模拟、天体物理学、基因组学等领域。在工程领域,高性能计算可用于仿真和优化复杂系统。金融行业也需要高性能计算来进行高频交易和风险分析。此外,医疗保健、能源、航空航天等行业也都需要高性能计算专业人才来应对各自领域的挑战。

科学领域:

中国科学院计算数学与科学工程计算研究所

中国气象局国家气候中心

中国科学院计算机网络信息中心

中国科学院上海超级计算中心

国家天文台紫金山天文台

中国地震局地震科学实验场

工程领域:

中国电子科技集团公司

中国石油天然气集团公司

中国航天科技集团公司

中国电力工程顾问集团有限公司

中国铁路工程总公司

中车株洲电力机车有限公司

金融领域:

中国工商银行

中国建设银行

中国农业银行

中国银行

中国人民银行

中国证券监督管理委员会

医疗领域:

北京大学人民医院

上海交通大学医学院附属瑞金医院

复旦大学附属华山医院

中山大学附属第一医院

浙江大学医学院附属第一医院

南京医科大学第一附属医院

此外还有一些互联网企业和大厂、芯片企业、以及AI类企业。

3. 技术驱动的挑战

随着技术的不断进步,高性能计算也面临着一些挑战。其中之一是不断变化的硬件和软件技术。高性能计算专业人才需要持续学习和跟进最新的技术趋势,以适应行业的发展。此外,高性能计算系统的管理和维护也需要专业人员具备高水平的技术技能和解决问题的能力。如何具备系统、深入的高性能计算技术是在职程序员和在校大学生们立于不败之地的重要核心竞争力。

4. 如何打造成功的职业道路

为了在高性能计算行业中获得成功的职业道路,以下是一些建议:

学习基础知识:掌握高性能计算的基础知识,包括并行计算、算法优化、编程模型等。这为您打下坚实的基础。

不断学习与更新技能:跟踪行业的最新发展,学习新的技术和工具。通过参与培训和专业课程,保持自己的技能与知识的更新。

实践项目经验:参与实际的高性能计算项目,积累项目经验和解决问题的能力。这可以通过参与研究项目、实习或自主开展项目来实现。

拓宽视野:了解高性能计算在不同行业的应用和需求,探索多个领域的就业机会。这有助于找到自己感兴趣的领域,并为未来的职业规划提供更多选择。

建立专业网络:参与行业会议、研讨会和社区活动,与行业专业人士建立联系。这将提供与业内人士交流、学习和获取就业机会的平台。

提升沟通和团队合作能力:高性能计算涉及与多个利益相关者的合作,包括科学家、工程师、数据分析师等。具备良好的沟通和团队合作能力将使您在职场中更具竞争力。

建立个人品牌:创建个人网站、博客或社交媒体账号,分享您的专业知识和经验。这有助于树立个人品牌,并吸引潜在雇主和合作伙伴的关注。

持续发展:高性能计算是一个不断演进的领域,持续学习和发展非常重要。参加培训课程、工作坊和专业认证,保持与行业前沿的连接。

在这里,猿代码科技(https://www.ydma.com)为您准备了一份高性能计算培训课程,涵盖CPU、GPU以及超算运维。其中尤其推荐的是猿代码-高性能计算从新手到大师系列课程(CPU和GPU并行优化)

这是由国内顶尖科研院所专家及知名企业工程师合作研发的高性能计算专项课程,涵盖高性能计算之并行计算等多个方面,包括CPU并行计算实战课程、GPU并行计算实战课程以及超算运维等。您将有机会通过工程化实战项目来学习所学知识,并与来自国内顶级专家及工程师近距离合作与学习。

在您的职业生涯或学习道路中,把握算力时代的机遇,学习并行计算和向量化技术,让自己站在技术的前沿,成为算力时代的佼佼者!

高性能计算行业的就业前景广阔,但也需要不断努力和提升自身能力。通过持续学习、实践项目经验、拓宽视野和建立专业网络,您可以为自己打造一个成功的高性能计算职业道路。

你可能感兴趣的:(人工智能,高性能计算,HPC,机器学习,算法)