如何判断高性能计算&并行计算、或者HPC+是否有好的就业前景?是否值得进入?
回答之前我们先看一个有意思的评分标准,评价一项技术是否是颠覆性机会。
如果新技术的效率比过去快10倍,得1分;
如果效果好10倍,得1分;
如果成本低10倍,得1分;
如果方便10倍,得1分。
那么,得满四分的新技术,一定是颠覆性的机会。你认同吗?
比如复印机的出现,对比原来靠人抄写,快了不止10倍,成本也低10倍,而且印刷出来一模一样,比抄写效果好10倍,也方便10倍。这是彻底的颠覆。
比如智能手机、比如5G网络、等等等等
所以,又快又好成本又低还方便的技术,一定有很大潜力。所以我们看待HPC也是如此,先去打个颠覆分,也许就知道它的未来潜力了。
想象一下,新药的研制时间从数年缩短至数天;
天气预报的时间从几百个小时缩短至几小时;
石油勘探的时间从数年缩短至数天;
AI大模型搭建耗费的成本减少至原来的数十倍,但性能好几十倍;
你很难说,高性能计算(HPC)不是一个颠覆性的机会。
因为这些都离不开算力,离不开高性能计算(HPC)及相关算法。
再来看就业前景,既然是前景,那一定和现在的环境有所差异。
有人在2013年问学AI是否有前途,那会AI的确被认为是忽悠。很多人都说“谁学AI谁傻,就业差,机会少,不如去做前后端”
所以,今天你问高性能计算是否有前途,自然也少不了反对的声音。
事物是运动/发展/变化的。所以关于未来,我们希望你能有自己的判断,炼出一双智慧的眼睛。
为此我们整理资料、制作了本篇文章,希望尽可能全面的为你展现高性能计算的前世、今生,希望能帮助你判断它的未来和前景。
回顾历史,高性能计算作为一个强大的计算工具,与科学研究的发展密不可分。
一方面,科学研究对计算能力永无止境的需求促进了高性能计算技术向前发展;
另一方面,高性能计算技术的每一次巨大进步都为科学研究提供了全新的手段。
高性能计算作为计算机科学的一个分支,致力于开发高性能计算机和运行在高性能计算机上的应用软件。
第二次世界大战时期,靠人力计算火炮的弹道非常困难,战争对计算能力的需要促进了第一台电子计算机的诞生。
早期的高性能计算机主要应用于解决军事领域的计算问题,如美国在1960年代使用CDC超级计算机进行弹道计算、火箭设计等工作。20世纪90年代中期以后,随着机群技术构建的高性能计算机的普及,高性能计算的成本和编程的复杂度大幅度下降,为高性能计算的广泛使用创造了条件。现在高性能计算已经渗透到各个学科领域,不仅在气候模拟、石油勘探、天体物理这些传统应用领域保持强劲的生命力,在生命科学、人工智能、大数据处理这些新兴领域也有广泛的应用。
高性能计算发展大约经历了3个浪潮:
第一个浪潮:HPC和科学计算
伯克利提出了13个小矮人的并行模式
以MPI、OpenMP、高性能算子库为代表基础软件
大量行业的HPC应用和科学计算,如气象、材料等等。
第二个浪潮:云计算和大数据
Google提出三架马车开始,在大规模资源调度、大规模数据ETL和处理、大规模数据分析、大规模图计算方面迅速发展,出现Spark/Hadoop/Flink/K8s等为代表的基础软件。
应用主要聚焦以数据处理和分析为主的企业计算
第三个浪潮:AI大模型
深度学习出现后,出现张量计算,重点是大规模的张量计算和数据拟合,也出现大量的AI框架,应用聚焦于ML领域。
AI对算力的需求潜力已毋庸置疑,尤其是AI大模型的亮相,更印证了AI离不开HPC的计算能力。未来如果AI能够接近甚至达到人的智能水平,肯定会对计算能力、存储能力等的需求非常高。
同时高性能计算也将不再简单比拼“肌肉”,如只追求规模和性能。
更加智慧的高性能计算系统将成为主流。国家超级计算广州中心主任卢宇彤甚至预言,“到2030年,所有高端计算设备将自带AI支持功能,高性能计算仿真将利用AI平台提高性能,AI也将重塑计算仿真。”
除此之外,以上三个浪潮中涌现的产业均是非停滞不前,而是长期共存且快速发展的态势。而且你需要看到
现如今高性能计算现已广泛用于:寻找全新的药物化合物并测试已知药物组合,从而更好地治疗不同种类的癌症和其他疾病;模拟分子动力学以开发新材料,如防弹纤维织物;提前预测重大天气变化,如地震预测,使受影响的地区做好准备。
如果你认可上述逻辑,那么坚持下去,多学习高性能计算并行算法、并行优化、分布式计算机分布式系统等,你一定会看到属于你自己的春天。
可能还会有网友问,既然势头这么好,那高性能计算开发会不会有一天变得跟其他开发一样卷且易被替代?
回答之前,大家需要了解一个事实。
高性能计算是有一定的门槛的,虽然门槛未来有可能降低,但绝不会低到烂大街的程度。如果你很难理解计算机的并行思维,或者连计算机体系结构学起来都很吃力,如果你连基本的高数都无法理解的话,那大概率你不适合做高性能计算。
此外,高性能计算开发不仅要求专精,也要求更宽的知识面/以及工程项目经验。这一行,我们称之为具备科学家思维的工程师。
因此,有可能会卷,但不容易被替代。
也许将来有一天,我们将看到这样的段子。
俩程序员掐架不再说“show me your code(给我看你的代码)",而是说”show me your Speed of code(给我看你代码的速度)“
一起见证那一天。