一年前,我们还在小心谨慎地定义着Cloud HPC,一脸娇羞地拿Novartis 诺华制药在5年前做的案例当作标杆。
不久前,Hyperion Research正式宣布2019年是Cloud HPC的转折年。
暴风哭泣,云端高性能计算终于有了姓名。
HPC:HighPerformance Computing高性能计算,换句话说,对算力要求高
这一年,我们帮不少用户落地了云端算力解决方案。像我们老板说的,对用户来说,最重要的是提供一种Accessibility(可触达),后面的Efficiency(效率)都是水到渠成的事儿。
同时,我们也看到很多用户在云的边缘疯狂试探,等某个未知的神秘力量来推上一把;还有些用户惊喜地发现,我们提供了一种解决他们现有问题的新思路。
今天,我们盘一盘国内外Cloud HPC现在的局面:
1. 全球越来越多企业踏足HPC领域,AI和高性能数据分析首当其冲
2. 不同Cloud HPC细分领域未来5年年均复合增长率超过21%
3. 从两个全球超大规模CPU、GPU的溢出到云案例看云的可伸缩弹性能力
4. 我们观察到的国内外部分行业用云现状:制药/基因测序/EDA/CAE/高校
溢出到云:本地不够,云来补上的意思
友情提醒:如果你还在为算力不足而头疼,或对云有所期待,此文建议转发给你的老板,让我们等待一个“真香”~~
全球越来越多企业级用户开始踏足HPC领域,比如欺诈/异常检测、商业智能、关联营销、精准医疗、智慧城市、物联网等等。
大数据和HPC的结合提供了很多新的解决方案,基于HPDA高性能数据分析的AI人工智能,ML机器学习,DL深度学习是最热的领域。
HPDA高性能数据分析领域的增长速度超过HPC市场整体增长速度。
AI领域的增长速度高于整个HPDA高性能数据分析领域的增长速度。
众所周知:AI现在还处在早期发展阶段。推理功能弱,主要解决观察识别类问题,而不是决策问题。比较落地的应用场景是在图像和声音识别,高级驾驶辅助系统,MRI医疗影像识别领域。
AI不是什么包治百病的神奇药丸,不过是数学罢了。
从OPENAI在2019年11月发布的图片中就能明显看出,**自2012年以来,AI训练对计算的要求3、4个月就会翻一倍。**在可见的未来,这个趋势应该会持续。
Hyperion Research预测未来5年HPC用户的用云趋势:
这个图不包括没有任何本地机器,天生用云的用户。
纵轴指的是用户在第三方云资源上的花费,包括了公有云,混合云,第三方搭建的私有云。
不同Cloud HPC细分领域未来5年年均复合增长率都超过了21%。
生命科学、EDA半导体领域甚至超过了25%。
关于为什么要用云这个问题。
Hyperion Research的调查结果跟ANSYS不谋而合。
那云的弹性现在到底大到什么程度?
我们看看两个全球超大规模CPU、GPU的溢出到云的案例。
CPU。
2019年10月,克莱姆森大学计算学院(Clemson University School of Computing)创下了云端高性能计算领域一个记录。
他们花了大概5万美金,运行了4个小时,使用214万个vCPU在Google云上跑了一个数据密集型应用,在200万小时的视频中对车辆进行计数,视频数据文件大小为210TB。
这是个概念验证实验,为了验证在现实数据量极大,时间紧迫的情况下,云端高性能计算有能力为应急处理提供决策支持。有了云计算,公司或组织不需要拥有大量机器,或者停止手头上一切工作来处理应急情况。
整个计算过程,研究人员对云端实例的弹性使用情况。
GPU。
2019年11月,SDSC圣地亚哥超级计算中心联合威斯康星州冰立方粒子天体物理中心(Wisconsin IceCube Particle Astrophysics Center)在AWS,Azure和Google云上一共调度了超过5万GPU完成一次仿真模拟计算试验。
图片来源:Igor Sfiligoi, SDSC/加州大学圣地亚哥分校
黑线是用于计算的GPU数量,最高达到51,500个。
不同颜色代表在某家云厂商的某个区域购买的GPU数量。
PFLOP32s的峰值约为350。
相比之下,美国橡树岭国家实验室Summit系统的名义性能约为400 PFLOP32s。
因此,这次计算,基于云的集群提供了全球排名第一超算中心峰值90%的性能。
IceCube的Riedel说:
“这场实验主要有三个目标:一是用于天体物理学模拟仿真研究;第二是测试网络基础设施是不是做好了未来E级计算的准备;第三是想测一下一个小时左右的时间内,能买到多少商用云计算GPU资源。这次调度了三大洲(北美、欧洲和亚洲)28个区域的所有可用GPU。结果说明云端弹性可以冲击非常大规模的GPU,适用于天文学和其他科学领域的广泛挑战。”
制药/新药研发领域
计算机辅助药物设计(Computer-Aided Drug Design,CADD),国内相比于美国、英国等国家,的确有点落后,但是发展速度非常快,已经成为药物研发流程中不可或缺的一部分。
要求越高越准确,需要的数据就更多,计算量就越大。
怎么利用计算工具和资源,解决新药研发过程中的各种问题?
怎么找到具备复合能力的人才?
是这个领域最受关注的问题。
人才方面,我们可以尽可能帮助企业降低对他们的各种云、HPC技术等方面的知识技能要求,更专注在药物研发业务方向。
计算这一块,拿虚拟筛选来举例。我们能帮助用户让过去需要耗费几个月的筛选时间缩短到1天以内。
案例:我们用Schrodinger(薛定谔)辅助用户对7.8亿多个分子进行了筛选,用了云上的几万个Core,计算时长仅花费了3-13个小时(每个Core上所需时间不一样)。
详情可联系文末小F
基因测序/精准医疗领域
基因测序天然地数据量大,而且计算复杂程度高,整个分析工作流程复杂,经常需要修改算法。
这个领域主要关注测序技术的发展和数据计算和分析。
怎么拿到数据?
怎么在最短时间内对海量生物数据进行计算,找出单个基因或多个基因组合和一系列疾病的关系?
对云的需求主要基于两点:
一个是计算量有明显季节性。而本地计算资源的分析能力有限,升级成本高,云的弹性伸缩能力能很好地应对;
第二是主要是消费级基因公司对计算的时效性要求高。
案例:我们有个基因用户就要求8小时内处理完当日5点前数据,而且每天对计算资源的要求很不确定,只有计算时间要求是固定的,这种情况下云端算力就是比较理想的解决方案。而且我们还能将其复杂的分析流程进行优化封装,进一步提升计算效率。
详情可联系文末小F
CAE/CFD领域
ANSYS作为CAE仿真里的巨头,也是目前唯一一个真正采用云端计费模式的企业。他们在2019年5月做的调查显示:云端仿真有很大的增长潜力。
市场变化很快:
**在未来的12个月,大多数预计将使用SaaS解决方案(62%),其次是公有云(45%),**紧随其后的是混合云解决方案:私有云+合作伙伴管理的数据中心(44%)或私有云+合作伙伴管理的公有云(40%)。
案例:我们帮助一家风电新能源用户优化他们的核心应用Bladed,利用云上更新,主频更高的CPU硬件最大化发挥应用性能,调度任务同时支持本地和云上的Windows节点和Linux节点。
详情可联系文末小F
EDA/半导体
放眼全球,整个半导体产业链核心角色:EDA软件/Foundry/Fabless芯片设计公司/IP厂商无一缺席,早在几年前就在布局上云。三大EDA巨头Synopsys/Cadence/Mentor和芯片制造厂TSMC台积电可以说引领了整个行业。
国内半导体行业已经在暗中追赶。
从AI芯片初创企业到大型Foundry芯片代工厂,从SaaS模式到多区域+多公有云的混合模式,到多云PaaS平台的搭建。我们编了一本《半导体行业解决方案白皮书》。
详情可联系文末小F
接下来几年,我们拭目以待。
高校/科研
高校一直走在科研界的最前沿。
但他们面临的问题也十分明显:
1. 人手不足,项目时间有限
2. 不管是云,还是HPC,非计算机专业使用门槛高
3. 本地机器过旧,资源少,申请新机器困难
4. 学校IT支持往往也不足
对很多高校来说,500 core的计算资源峰值需求就足以成为一个障碍。
除了常用的工程应用,生物分析,化学计算等常见高性能计算场景,不少高校和科研院所都在搭建自己的一站式AI计算平台或AI实验室,满足自身人工智能应用创新开发或者学校的AI课程相关实验等需求。
在汽车出现之前,我们只想要更快的马。
汽车出现之后带来的很多可能性,在马的时代都是不可想象的。
现在,又到了发挥想象力的时候啦~
祝大年新春大吉鸭!
我们最近干了件大事!!
花费4小时5500美元,速石科技跻身全球超算TOP500