计算激变:当华为跨过一切走向星空

“恒有二者,余畏敬焉。位我上者,灿烂星空;道德律令,在我心中。”

这句写在《纯粹理性批判》一书和康德墓碑上的话,可以被看作是康德哲学思想的精炼。其中康德将外部世界概括为Starry heaven——充满星星的苍穹。在很多时候,人们对于这个世界的探索精神,都被抽象成了对星辰大海的追逐。星星为什么会闪耀?星河的黑暗之处,又隐藏着什么秘密?这些疑问,是我们与生俱来的好奇心的最好表现。

在天性的指引之下人类不断踏平一切阻碍,去践行探索。例如用丰富的交通工具踏平物理距离,让人类可以真正地踏步星云之中,或是用数字化记录踏平时间的阻隔,把一切转瞬即逝记录成永生的数据。

在跨越空间与时间障碍之后,下一个拦在我们与星空之间的障碍,便是计算了。

让星光穿越大洋洲

故事要从一个天文望远镜说起。

从17世纪开始,天文望远镜就成了人们观测宇宙星空的绝佳工具。随着技术不断发展,直到今天,这一工具让我们的目光更加深远,透彻地了解到宇宙与星体。到了如今的射电天文观测时代,我们已经能通过望远镜接受宇宙中的无线电波,捕捉光年之外的信号。但从自然科学的角度来说,很多时候工具越发达、我们发现的信息越多,也就愈发认识到自己的渺小。

想象一下,当考古学家们发现庞大的墓群时,除了惊喜与惊叹,他们所做的更多是潜心研究,不断推翻自己的认知体系。同样天文望远镜所捕捉到的每一点信息,也都值得被分析研究。尤其和静止于时空中的文物不同,无线电波处于动态之中,有时需要对大面积星空进行实时观测,才能捕捉到天文现象。而这其中所需要的算力支持,几乎是难以想象的。

基础研究并不会因为配套设施的不足而停止,近年以来,我们进入了“SKA时代”。

所谓SKA既平方公里射电阵(Square Kilometre Array),由众多碟形天线构成的巨型射电望远镜阵列。

计算激变:当华为跨过一切走向星空_第1张图片

凭借超高灵敏度、超大视场、超快巡天速度和超高分辨率来获取、观测到那些以往未知的信息,甚至有望在宇宙起源、生命起源、宇宙磁场起源、引力本质、地外文明等“终极问题”中获得突破。

而SKA望远镜所产生的数据也是巨大的,资料显示SKA建成后每年存档大约600PB的数据,远超于今天的互联网。

这样庞大体量的数据,先不提计算,光是传输就是一个巨大的问题。曾经有一种说法称,把100PB的数据从北京传输到上海,最快的速度是顺丰快递。这并非是笑谈。

而目前SKA望远镜的两个中心区域一个在澳大利亚一个在南非,我们要如何将这些数据跨越大洋洲与其他研究机构共享,是飞机?轮船?或是传说中的6G网络?

数据熔炉中,宇宙与星空之秘

我们已经有了能力将宇宙中的讯号记录成数据,但如果无法从这些数据中得出结论,它们便会尘封于数据库之中,像一个个未解的谜团。

如何解开这些数据谜团,挖掘其中的价值信息?上海天文台给出了答案——华为云AI。

如果参加过今年华为HC大会的人一定记得,在现场展示了华为云与上海天文台合作利用华为云AI昇腾集群服务对南半球星空的射电星系进行搜索和识别, SKA先导项目所产生的海量数据被安置在了云端,华为云AI昇腾集群服务如同一座钢铁熔炉,输入数据燃料,炼出关于宇宙与星空的秘密。

计算激变:当华为跨过一切走向星空_第2张图片

在最近的SKA上海大会暨第六届SKA工程大会上,我们得以瞥见有关这一答案的更多消息,也能看到华为云AI究竟是如何带领人类破壁,解密星空。

作为当前全球最大的科研项目,SKA项目所面临的问题其实也集科研领域于一处。

首要的,是计算能力本身。正如前文所说,科研数据往往体量巨大,甚至超出现有计算能力。对这些数据进行挖掘、将其训练成AI模型以提升未来的研究效率更是困难;其次还有科研协作。庞大数据量不仅仅受计算能力影响,同时也在影响协作效率。很多天文类的科研项目都和SKA一样,需要把望远镜或望远镜阵列建设在世界各地,对于这些科研项目来说,想要实现分布式的协作研究,往往要耗费大量成本在本地建立数据中心。最后还有软件效率,面对深度学习这一新兴工具,科研项目所建立的AI模型是否兼备高性能和高实用性,更重要的是是否具备可移植性。然而这一切都是伴随海量数据而来的问题。

从计算宇宙到计算世界:

华为给出的三层方法论

在和上海天文台的合作上,华为云给出了很好的解答样本。我们不妨从双方的合作中提炼出若干方法论,看看这些方法论是否能在人类探索世界的整个过程中奏效。

第一层方法论,是巨大计算引擎本身带来的效率升级。

基于Atlas900,华为云AI昇腾集群服务在合作过程中起到重要作用。它是当前全球最快的AI训练集群,由上千颗有“最强AI处理器”之称的昇腾910 AI处理器搭建而成。强大计算力汇聚之下,让它获得了世界顶级算力。当“地表最强”集群服务碰撞上同样“地表最强”的科研项目,带来的结果是非常震撼的。

就拿宇宙中星体定位、分类这一项工作来说,在处理SKA先导项目星空观测数据时,使用传统方法天文学家需要169天才能完成一次对南半球星空中大约20多万颗星体的定位和识别。而在上海天文台与华为的合作中,通过深度学习方法训练AI模型,并利用华为云AI昇腾集群服务,仅需10秒就能完成任务。

从169天到10秒,其效率提升的意义无异于穿梭于时空之间的时间机器。

第二层方法论,来自全新的部署未来。

华为云之于SKA项目的意义,一方面来自于昇腾910带来的强大算力,另一方面则来自于“云”。我们都知道云化对于产业带来的意义——将数据跨越空间进行写作部署,根据自身需求变化弹性化的购置资源,随时在云端共享软件能力的更新……但一旦涉及科研这种数据量巨大的领域,似乎很难依赖于云端。实际上昇腾集群采用的100G以太高速集群互联网络,可以让星海高速行走于云间,便于诸如澳洲-上海之间的科研协作。

这种弹性存储的部署模式,相比建立数据库成本更加低廉、效率也更高,同时也降低了数据的访问门槛。或许未来其他科研机构也可以登录云端平台访问SKA数据,从星海之中找到自己想要的答案。

计算激变:当华为跨过一切走向星空_第3张图片

第三层方法论,来自AI这一出发点。

海量天文数据,需要的是暴力的计算,同样也需要“聪明的计算”。在华为云的全栈AI能力之下,上海天文台也得以将更多AI能力带入科研之中。例如现在,华为云和上海天文台正在尝试使用AI对射电望远镜接收的脉冲星信号进行识别。倚仗华为云AI能力和数以万计脉冲星信号数据,昇腾集群在短时间内完成训练并建立AI脉冲星识别模型,判断图像是否为脉冲星信号,精准率和召回率均高达98%以上。

暴力计算解放人力,让科学家们将时间投入到更多有价值的研究领域中。而智能则解放算力,算的更聪明,就能算的更高效。

探索之途,停在下个时代门前

这一系列方法论,显然不只适用于天文一个领域。

康德将一切外物定义为“灿烂星空”,是因为人类探索一切,就像探索星空。实际上SKA项目上出现的巨大计算需求,仅仅是人类探索世界过程中的一个阶段缩影。

之所以会出现算力需求的裂谷,是因为我们走向了数字化的顶峰。传感器与互联网的遍布,加上基础科学的进步,让我们有了将宇宙中的一切转换成数据的能力。大到用射电望远镜捕捉光年之外的脉冲信号,小到一条公路的智慧化,甚至一颗药物的研发,几乎都可以利用数据化模拟整个过程。自动驾驶、气象研究、地质研究、工业数字孪生……这些领域正在各自形成数据洪流,滚滚向前。

计算激变:当华为跨过一切走向星空_第4张图片

更何况我们还有此前累积下的海量数据——2018年Forrest报告称,大多数公司认为自己只分析了12%的大数据。也就是说,这个世界上有88%的大数据都被尘封了起来,在闷热的机房中无声叹息。

这一切或许不会都像天文领域一样,能够通过暴力计算获得如此巨大的改变。但当前的计算供应,与未来趋势一定是不匹配的。

算力硬件不仅昂贵,从生产者到应用者之间还包含着多个复杂的产业环节。甚至即使其中加工者无数,最后的解决方案也不一定能很好的适应场景需求。更何况还有复杂的配套搭建过程——动辄占地上百平米的数据中心和复杂的日常运维,无一不需要周期漫长的资金和人力投入。

万事万物的数字化明明到来的那么自然,为什么在下一个时代的门口会出现如此难以跨越的门槛?

激变发生、打破桎梏:

触碰星空的华为云

这个世界的奇妙之处就在于,我们似乎一直在闯关升级,难以解决的矛盾一旦集中起来浮出水面,便会得以解决。

华为云AI昇腾集群服务的出现就是如此。

如果华为云AI昇腾集群服务提早几年出现,我们可能会认为这只“AI算力怪兽”有炫技之嫌。而在2019年,我们真正直观的感受到了SKA项目带来的海量天文数据,看到近在咫尺的自动驾驶,看到5G网络即将带来的万物互联,才真正感知到,人类的计算力,还需要更强一点。

同样华为也是在这一年发布了他们的计算战略——一边是利用基础研究创新架构,推出适应算力增长的达芬奇架构,另一边推出了昇腾、鲲鹏、麒麟、鸿鹄四款分别应对AI计算、通用计算、移动终端和智慧屏需求的芯片。加上对于华为云AI昇腾集群服务在AI训练计算的布局,华为已经对未来计算市场形成了一种笼罩式的布局,预判产业的下一步发展,然后做好准备。

就拿SKA项目为例,华为云给出的三条方法论实际上已经颠覆了“算力”这种资源的获取方式,将算力和存储从数据中心、超算中心转移到云上,无异于把苹果树苗变成货架上的苹果。获取地表最强的算力,不再需要漫长的植树耕耘,只需随手拿取。这种激变,如同刀耕火种与食品工业化的对照。

激变还发生在更多地方。

我们看到达芬奇架构在改变每一款芯片中矩阵计算的效率;看到不同领域的芯片正在铆住产业关节,深深植入计算;看到工程能力、网络技术等等其他储备也与计算集群或芯片结合,去解决散热、集成等等问题。

星空当前,华为云正在集中一切力量去打破计算的桎梏。

或许在五年或十年之后,以华为云为代表的桎梏打破者会为我们的生活带来天翻地覆的变化,我们可能在AI的帮助下从宇宙中捕捉到另一个种族的声音,可能能够预测很多自然灾害,或是精准预知明年的天气变化……但当我们把历史的坐标拉长,再回头看看,可能早已对这一切习以为常。今天的一切幻想,总有一天会变成不起眼的日常细节。于是我们才不停探索,永远向往未知。

但人们总会记得,在一次悄然无息或轰轰烈烈的计算升级后,我们距离头顶的星空,又近了一点。

在这场旅途之中,我们每一个人都是探索者。而华为也提供了我们与其他探索者相遇的机会——2020年2月11日到12日,华为将在深圳面向开发者召开华为开发者大会2020(Cloud)。参与者可以与开发高手现场交流,并体验丰富的黑科技。宇宙旅途,时刻发生。

你可能感兴趣的:(计算激变:当华为跨过一切走向星空)