戳蓝字“CSDN云计算”关注我们哦!
文 | 阿晶、丹丹、王银发于上海华为HC大会现场
出品 | CSDN云计算(ID:CSDNcloud)
科技的不断发展正逐步加速智能世界的到来。
一直,华为致力于提供经济且充裕的算力,力图像使用电力一样帮助开发者方便获取AI能力,从而实现让算力更加普惠,让算法更加简单的目标。转眼已到华为全联接大会的第四个年头,让我们共同见证来自“共创智能新高度”的美好。
2019年9月18日-20日,华为全联接大会2019正式现身上海世博展览馆、上海世博中心,关于持续被热议的行业数字化转型、全新赋能开发者的沃土2.0计划、深度了解开发者眼中的自研智能计算鲲鹏+昇腾两大计算平台等诸多内容,亟待一一揭晓。Everybody is here now ! Let’s go!
锁定计算红利,打造最佳连接,华为持之以恒
两年之前,华为发布了崭新愿景,力图构建一个万物互联的智能世界;而在过去的30年,华为一直积蓄力量努力打造世界上最好的联接,这一点在华为副董事长胡厚崑在华为全联接大会2019的开场keynote中被首先提及。
“我们越来越清楚地看到,要构建这样一个智能世界,有两类关键技术值得不断投资与创新,那就是计算和连接。尽管在过去的很长时间里华为在连接上做了很大投入且成绩斐然,但并不意味着华为只是一家做连接的公司,在我们眼中,计算与连接同样重要,甚至可以被认为是密不可分。”
或许这种密不可分的关系可以简单表述为在当今世界中,哪里有连接,计算就在哪里应运而生。关于计算,华为始终保持对产业发展的敏感观察。70年一路走来,从1946年第一台计算机诞生至今,从大型机、小型机-台式机、便携机、智能手机以及如今的可穿戴设备,计算机的体积越来越小但功能却越来越多,人类与计算的距离缩短彰显着未来发展的无限前景。
从过去基于规则的计算,到现在依赖于统计计算的新式计算模式,除了能够更好地解决那些没有固定规则可定义的问题之外,甚至奠定了来自AI的突破性发展。对此胡厚崑大胆预测,在未来的五年时间中,这种基于统计的计算模式所消耗的算力有可能占据到整个社会所需要算力的80%以上。“基于这样的大趋势,我们有理由相信,计算正在进入一个新的智能时代。但在智能计算的时代,有几个关键特征需要重点把握。”
关于协同模式,华为认为最理想的应该是在中心节点通过暴力计算对通用模型进行训练,并且可以做到使用通用模型来支持在边缘和终端侧的计算,在这样的协同下可以更好发挥算力的效率,带来更好的体验,在这种协同之下,并不需要把所有的数据上传到云端,同时带来更好的隐私保护。
基于这样的趋势判断,华为将坚定不移地对计算产业进行投入,提出在计算产业战略的四个关键的抓手,主要包括架构的创新、处理器的投资、坚持有所为、有不所为的商业策略、打造开放的生态环境。
在提供覆盖端、边、云全场景智能计算需要的驱动下,达芬奇架构的诞生其实是非常自然的选择结果。据阿晶了解,事实上达芬奇是行业里面唯一一个全面覆盖端、边、云全场景智能计算的架构。
据悉四年以来,华为“沃土”计划发展成就显著。计划下,超过130万个开发者,超过1.4万家的SV合作伙伴加入其中。新一轮的“沃土”计划,华为将承诺投入15亿美元资金,进一步扩大开发者社区,希望可以做到500万人的规模。
在计算领域,华为将核心竞争力构筑在昇腾处理器和鲲鹏处理器上,即围绕昇腾,打造出全栈全场景AI解决方案;围绕鲲鹏,打通生态全链条,并率先完成从主板、服务器、操作系统、云服务及应用的系统级验证。通过鲲鹏和昇腾的加入,华为希望推动计算产业迈向x86+GPU+ARM+NPU等多样性计算发展,迎接万物互联的智能世界到来。
在已经落地的全栈、全场景的基础上,华为现场发布了Atlas 900。这款产品汇聚了华为几十年的技术积累,是当前全球最快的AI训练集群,由数千颗昇腾处理器组成。在衡量AI计算能力的金标准ResNet-50模型训练中,Atlas 900只用了59.8秒就完成了训练,这比原来世界记录还快了10秒。
在
最佳集群网络方面
,Atlas 900 AI训练集群采用“HCCS、 PCIe 4.0、100G以太”三类高速互联方式,百TB全互联无阻塞专属参数同步网络,降低网络时延,梯度同步时延缩短10~70%。
在AI服务器内部,昇腾910 AI处理器之间通过HCCS高速总线互联;昇腾910 AI处理器和CPU之间以最新的PCIe 4.0(速率16Gb/s)技术互联,其速率是业界主流采用的PCIe 3.0(8.0Gb/s)技术的两倍,使得数据传输更加快速和高效。在集群层面,采用面向数据中心的CloudEngine 8800系列交换机,提供单端口100Gbps的交换速率,将集群内的所有AI服务器接入高速交换网络。
独创iLossless 智能无损交换算法,对集群内的网络流量进行实时的学习训练,实现网络0丢包与E2E μs级时延。
系统级调优
:Atlas 900 AI训练集群通过华为集合通信库和作业调度平台,整合HCCS、 PCIe 4.0 和100G RoCE三种高速接口,充分释放昇腾910 AI处理器的强大性能。
华为集合通信库提供训练网络所需的分布式并行库,通信库+网络拓扑+训练算法进行系统级调优,实现集群线性度>80%,极大提升了作业调度效率。
极致散热系统领域
传统数据中心多以风冷技术对设备进行散热,但在人工智能时代传统数据中心却面临非常大的挑战。高功耗器件比如CPU和AI芯片带来更大的热岛效应要求更高效的冷却方式。液冷技术可以满足数据中心高功率、高密部署、低PUE的超高需求。
Atlas 900 AI训练集群采用全液冷方案,创新性设计业界最强柜级密闭绝热技术,支撑>95%液冷占比。单机柜支持高达50kW超高散热功耗,实现PUE<1.1的极致数据中心能源效率。
另外,在空间节省方面,与8kW风冷机柜相比,节省机房空间79%。极致的液冷散热技术满足了高功率、高密设备部署、低PUE的需求,极大地降低了客户的TCO。
此外现场还列举了关于天文探索的案例,华为联合上海天文台与SKA共同打造。在一张有20万颗星星的星空图上,过去天文学家要从中找出某种特征的星体,需要169天;现在采用Atlas 900,仅需10秒,我们充分相信Atlas 900”给我们带来超强的算力会在科学探索、技术创新等诸多的领域带来巨大变化。 为了让各行各业获取超强算力,华为将Atlas 900部署到云上,推出华为云EI集群服务,并以极优惠的价格,面向全球科研机构和大学,即刻开放申请使用。
在打造鲲鹏产业生态环境方面,我们了解到华为正在与各地的合作伙伴一起积极利用当地的独特优势来打造不同的鲲鹏产业生态基地,希望将基地变成平台,平台上聚合生态伙伴、开放应用示范、培养产业人才、孵化产业标准。据悉,打造鲲鹏产业生态基地的工作现在已经在北京、上海、深圳、成都、厦门、西安等城市开始落地,未来还有更多的城市合作伙伴加入其中。“华为是一个愿意也善于走远路的公司,我们一直坚信作为一家技术公司,使命就是要用最好的技术解决最难的问题,把“不可能”变成的可能”。”胡厚崑总结道。
鹏城云脑:智能向类脑过渡,打造人工智能开源创新平台
在本次活动上,中国工程院院士、鹏城实验室主任高文院士分享了鹏城实验室与华为的合作,力求共同打造中国首个动态进化的E级AI超算系统,构建新一代人工智能基础研究创新平台。“联接对我们这个时代非常重要。而有了联接之后,我们要做的另外一件更高等的一件事情其实是计算。”高文如是说。
众所周知,早些时候的计算更多是为了解工程问题。比如弹道导弹的计算,相当于是确定模式的计算,通过一个固定方程,输入参数,由计算机把方程的解求出来。但随着时间的推移,计算能力越来越强,不仅仅满足于让计算机做一些方程求解,还开始让计算能像人一样去识别图像、视频,甚至是听得懂别人说什么。这个时候的计算可谓是工程领域的计算,它需要处理宏大的数据量,有时候可能是一百万张或者一千万张的图象。而在未来,更希望计算是能够像大脑一样的类脑计算。因势而生,华为推出“鹏城云脑”,致力于智能向类脑过渡。它涵盖包括和智慧医疗(身体健康)、交通等方方面面对国家发展可能会遇到的问题当中的一些智能计算需要的模型、算法以及研究平台。
搭建鹏城云脑的计算引擎,采用华为提供的最新的人工智能,面向智能计算的系统构建启智平台。由鹏城实验室形成open AI,托管大家的软件,从而更方便软件开发。而其自身也具自行负载及平衡的能力。
例如,城市堵车以及城市安全问题。“鹏城云脑”采用一套叫数字视网膜这样的技术,通过研脑合一,把一些计算的功能放在边缘,把另外一些放在云端组合起来使系统更合理高效。
最后,高文表示打造新一代人工智能基础理论开源开放创新平台,未来期待更多投身人工智能发展的团队能因此做更多贡献。
直面行业AI商用裂谷 华为云正式发布“工业智能体”
2018年的华为全联接大会上,华为云业务总裁郑叶来爆出金句:致敬开发者,践行“用得起、用得好,用得放心”,实现普惠AI。2019年的全联接大会上,华为云业务总裁郑叶来携华为云重大战略部署与产品,让我们看到了华为云在普惠AI的道路上一路践行。
今天,华为正式发布了华为云工业智能体,华为称其为行业也智能化升级新引擎,其中包含了智能认知引擎、智能预测引擎、决策优化引擎。在与石油、合成纤维、煤焦化行业的合作中,华为云工业智能体帮助油石油企业在气层识别上花费的时间降低了70%,合成纤维企业的客户需求匹配率提高了28.5%,煤焦化行业利润率提升了16.6%。
此外,华为发布一站式开发平台ModelArts2.0版本。郑叶来表示,ModelArts可以加速企业在AI方面的净化过程。举例来说,训练一个OCR的单据模型,只需要几张原始图片,使用字据扩充到数千张,可以节省80%的人力,同比业界最好的91%精度高出5个百分点,达到96%。
发布前夕,郑叶来介绍了全球AI领域投资趋势,并强调“直面行业AI商用裂谷”的重要性。
2018年之前,全球在AI领域的投融资几乎均匀分布在各个行业与技术领域,那时的投融资是符合技术发展热潮时期的特征。此后,大量的投融资活动局部围绕几个具体的行业场景来展开,且高度集中在头部行业。
可以看出, 技术上的热度局部回归到商业的理性,而一个新的技术要实现普惠,则需要跨越裂谷。
提及算力中的“暴力美学”。郑叶来强调算力的需求每年增长10倍左右,从研究来看,人类在过去十几年当中,对AI的研究不断深入,也出现了越来越多新的算法和新的探索,新的算法对算力的要求几乎是百倍增长。值得一提的是,在过去三年,算力的增长速度与论文出现的数量已经呈现正相关性;从商业上来看,只有算力的性价比越来越高,AI在商业上的应用才会越来越广泛。
所以,我们希望现在的AI像电力一样可以便利获取。
作为惠普AI的实干家,在过去的八年,华为团队致力于新的产业。而过去的一年多,华为云已涉及10+行业,500+项目成功的实践,携手合作伙伴助力企业走向智能化的升级之路。
以下为CSDN云计算对
郑叶来
现场演讲实录进行的编辑整理,部分内容稍作删节。
各位尊敬的来宾、女士们、先生们大家上午好。
2018年以前全球在AI领域的投融资几乎均匀分布在各个行业和技术领域,有一点像撒胡椒面一样,那时的投融资是符合技术发展的热潮时期的特征。2018年以后,大量的投融资活动局部围绕几个具体的行业场景,且高度集中在头部行业,比如说智慧的交通、智慧城市、医疗健康、金融。可以看到,技术上的热度局部回归到商业的理性,我们通常讲一个新的技术要实现普惠,需要跨越裂谷。
我愿意用“暴力美学”来形容,算力的需求每年增长10倍左右,为什么呢?从研究来看,人类在过去十几年当中,对AI的研究局部在深入,也出现了越来越多新的算法和新的探索,这些新的算法对算力的要求几乎是百倍增长。在过去三年,算力的增长速度与论文出现的数量已经呈现正相关性,另外一个角度我们看到从商业上来看,只有算力的性价比越来越高,AI在商业上的应用才会越来越广泛。所以我们希望现在的AI像电力一样可以便利获取。
去年在上海我分享一个观点,算力将释放算法之美。你今天拥有了大量的算力才可以比别人更快验证你的模型和算法。去年华为全联接大会上,我们的轮值董事长小徐总讲了一个观点,华为未来释放的能力,实际上有两条线,一是面向智能终端,我们的解决方案是HiAI,还有面向组织的EI。EI改变生产力的三种场景,一是海量重复;二是专家经验以及多域协同;三种场景下如果来助力产业的升级,从而实现效率的提升,专业的传承以及突破极限,其中我们讲海量重复的场景是指我们在企业实践当中来努力寻找高频出现的重复场景。
举一个例子,上海一个著名物流公司德邦快递,我们和德邦快递通过高精度的OCR来识别快递面单当中的信息,从而取得纯粹手工的录入,快递员可以拍照、截图,我们的OCR系统可以自动这个面单当中的收件人和寄件人的信息,并且可以处理比较复杂的背景。比方说光照不均匀,图片模糊甚至破损这些问题,来减少异常情况下人工处理的时间。大幅度提升用户效率和管理成本,减少15%左右。
我们都知道行业分拣选一般直是行业的诟病,除了损害消费者的权益导致大量的货损赔偿之外,其实用户的体验是非常不好。华为云的EI智能分析系统,会对监控视频进行实时行为分析,自动识别捡货当中,捡货员的动作是扔还是抛还是拿脚踢等暴力分拣的行为,在联邦快递有150个货场,3万个摄像头已经接入后端违规操作系统管理来进行识别,违规操作的小时违规率下降了15%。专家经验很好理解,融入专家积累的经验,使AI达到专家助手的水平。我们和第三方基因医学配合,首次基于病理,通过深度学习训练出高精度、高效的AI辅助宫颈癌筛查的模型,这个模型在过去当中实际的结果阴性片判读的准确率超过99%,对阳性病变的检出率达到99.9%,这个是我们已知在国际上AI辅助宫颈癌筛查的最高的水平。
再跟大家分享一个例子,今天非常优秀的病理学医生读一张片的时间大概是6分钟,今天用机器人读片子只要36秒。对于涉及到参数众多,依赖关系非常复杂、依赖度高、多域协同的管理,在智能交通等,尤其是知识图谱、自然语言处理等技术将会为这些领域带来新的思路和新的方法。
在过去的八年,我们在华为的团队一直在做新的产业,在过去的一年多在10多个行业,包括城市、工业、零售、金融、汽车等多个场景,有500个项目成功的实践,当然也是携手合作伙伴帮助这些企业走向智能化的升级之路。华为本身就是一个全球领先的电子制造行业的领导者,我们应该比很多公司更清楚的知道,一个工业场景下,需要解决什么问题?我在华为内部跟很多人分享,什么叫做2B的思维?其实很容易理解,您的数据,您的模型用我的平台来解决您的问题,一切的思维模式是真正以客户为中心,而不是以“我”为中心的。
应该说在500项目的成功实践,我们一直在总结,加上数百个参加项目的科学家和工程家对项目进行复盘、总结。我们发现,任何一个行业,AI的项目想落地实施,不仅是AI技术平台和企业两个方面可以完成的,需要更多的角色共同完成,我们看上面角色的模型,基本上是四个角色,设计行业落地的场景,应用相关的SV、应用相关的设备或者是流程以及AI平台的提供方。进一步打开来看,从实践中到实践中去,我们可以发现在一个成功AI实施的项目,必然有四个要素分布在不同的角色当中,也就是说一个明确定义的场景,需要一个触手可及的算力,需要一个持续进化的系统和服务,以及组织和人才的适配,参照这个角色模型以及影响项目成功的四个要素,我们就可以清楚一个技术要走向商用的裂谷,我们要跨越过去而不是掉到坑里面去。
第一个要素是什么?首先是场景的问题,我们要解决什么问题?首先我们希望要明确解决问题的场景是什么?你要提升产品的质量还是降低成本,还是提升效率?其次,要解决问题,一定要清晰的边界,这个边界要便于用数学要刻划或者是表达。其次这个场景应该是可以闭环的,可以预测,不能是开放而不可预知的场景。最后,要具备解决这个问题所需要的充足而完备的数据与行业知识,这就是我们如何定义好要解决这个商业的场景。
下面我想分享两个例子,什么是一个合适的场景,什么是一个落地比较困难的场景?三联虹普,看一下这个场景好像很复杂,恰恰这个场景是可以被明确定义,有清晰的边界,要解决什么问题,很清楚,这个问题可以用数学刻画,解决这个问题有充足的数据和完备的知识。用AI提升质量检测,或者是染色、调色实现商业的价值,有一个视频跟大家分享看一下三联虹普如何在华为的帮助来实现从一百米到一千公里质检的跨越。三联虹普的董事长讲了一个非常好定义的场景,用AI解决这个问题达到非常好的效果。
下面我愿意分享这个案例,这个案例看似不怎么成功,或者在实施的过程当中是很痛苦的——河流的治理,这个场景应该是很简单的场景,但是恰恰看似很简单的场景,其实是异常复杂的,一开始大家期望值比较高,但是落地的过程当中发现场景太复杂了,首先需要识别抛物、泼洒、飘浮等各种场景,而且复杂的自然环境场景,比方说天黑、暴雨、阴天等这种自然场景与人的行为相交织,更加增添了场景识别的难度,导致场景很难判别,索性遇到了一个非常好的客户,初心不改就认定了华为,一起经过努力,我们的客户和团队都非常优秀,通过不同的调整,克服困难,不断调整算法,终于从识别率从50%提高到80%,也就是说基本可用了,这个是河流治理的场景,讲这两个例子,如何选择一个合理的场景,不是主观的判断,而是四个要素的判断,这四个场景是不是人工智能所适合的场景?如果一开始场景选择错误了,痛苦就开始了。我讲跨越裂谷第二个要素是什么?强劲的算力,触手可及的强劲算力。
胡总分享的很多,我还想讲的,今天可以看到,我们的算力依然是不充沛、不经济、难以获取的,导致今天的企业政府、高校、科研机构普遍缺乏强劲的算力。从这个胶片当中可以看到有很多的例子,以华为举例,华为在科研舍得投入的,以华为公司为例,看了一下子,今天内部AI训练作业任务每天超过四千个,日均训练超过3.2万小时,就这样我们还有大量的任务挂在MODEL ARTS进行调度、排队。我们的博士现在怎么工作?上班不训练了,我们自己人不训练了,下班的时候赶紧把MODEL ARTS进行训练,第二天让给兄弟单位,晚上赶紧训练。即使这样,我们的算力依然还是很紧张。
我们的 Atlas900的算力就是通过EI的集群服务,胡总说是全球最快的,我们是基于昇腾910的处理器集成的,通过华为集合通讯库和资源调度系统以及超高速数据训练和缓存的技术,充分释放了这颗芯片的能力,今天的算力现在可以提供256P,大致相当于50万台PC机所拥有的算力,未来可以线性扩展这套集成系统。胡总刚才讲了一个数据,我们用59.8秒在非常经典的数据集典型的神经网络应该是最高的,比第二名高15。我们把数千颗910的芯片到进行交换,实现了全互联、无阻塞的高度交换网络,整个网络几乎是没有时延的,同时我们的老本行把计算、存储网络进行集合,所以软件加硬件把芯片释放,所以形成非常强劲的算力。
第三,AI的服务,我们需要一个持续进化AI的服务,传统的企业IT是基于非常明确的需求与规则,它的特点是确定性强,研发与生产是可以分离的,也就是说虽然一个典型的供方与需求方的概念,但是到了AI的时代,需要改变了。特别是深度学习是基于统计计算的,基于有限数据集开发的模型,在不能运行时可以满足所有场景的变化,为此我们应该构建一个把生产运行与开发训练闭环的在线系统就非常关键了。有了这样一个在线的闭环系统,能通过数据闭环下的在线学习能力,就可以让模型来持续适应环境的变化,持续来优化真正可以净化的AI系统或者是服务。我们的客户经常和我们说,在我们家建设一套,我们不差钱,但是这不是钱的事情,您需要有一个在线闭环的训练系统,这个是有训练集的在线系统。华为提供了一个持续迭代的框架,开发了MODELARTS,加速企业AI净化的过程,其中在自动数据增强的功能下,训练一个OCR的单个模型,我们只需要几张原始的图片,使用我们的自动数据扩充,可以到上千张,可以达到同样训练的精度可以节省80%以上的人力。
同样通过模型MODEL ARTS自优化的框架,使用多元搜索算力比我们现在看到的专家模型还可以提升8个百分点,同比业界自动调优的最高水平,现在差不多91%左右,我们可以高6个百分点。举一个例子,在自动驾驶领域,通过自动闭环的领域,可以实现模型每天的更新,以前一周最多更新一次,在本次全联接大会第三天,面向开发者、华为发布MODEL ARTS2.0新的特性,非常值得大家期待。
下面讲组织和人才的适配,我适配是主动的国家,匹配是被动的态度。应该讲AI的智慧来源于人类,智慧的数字化需要尊重以人为本的初心,对于AI的开发者,通过贴近行业提供异域使用的平台,来努力降低AI或者是行业结合的门槛,华为云MODEL ARTS一站式开发平台也是一个开发流水线,来管理AI应用开发,帮助用户来快速创建或者是部署模型,管理全周期AI的工作流。而对于有行业经验的专家来说,我们一直在思考如何通过AI系统将专家和专家的协同,我们在AI的落地过程当中,通过决策规则的相对透明,让AI更加辅助专家决策,从而更好被接受。从企业的组织和流程改变开始,我们不能用传统的企业IT的模式使用AI,AI需要向适配的人才、组织或者是流程来充分发挥效率。
下面的例子,是深圳机场的专家对于AI在深圳机场落地新的体会。上面分享了跨越行业AI落地的四个关键要素,明确定义的商业场景,触手可及的充沛算力,持续进化AI的服务以及组织和人才的适配。
今天正式向业界发布华为云工业智能体,我们讲在工业领域,可以得到很好的运用离不开各行各业的合作伙伴,华为云希望联合越来越多的合作伙伴通过工业智能体来加速行业AI项目的落地,让大家的业务愿景成为现实。我们可以看到,跟中国石油合作,使用智能体智能分析的引擎来辅助识别测井的油气层,识别的时间下降70%。我们和三联虹普合作使用智能体的智能引擎,在智能当中动态匹配客户需求,可以提升28.5%。跟鑫磊集团合作,使用智能体的优化引擎,将AI能力应用到配煤和焦炭生产环节,准确率95%,实现每百万吨焦炭节省成本1千万人民币。今年在能源、焦炭、电力、水泥、化纤等10多个工业行业都可以落地,真正将AI引入行业,加速工业智能化的升级。
福利
扫描添加小编微信,备注“
姓名+公司职位
”,加入【
云计算学习交流群
】,和志同道合的朋友们共同打卡学习!
推荐阅读:
Serverless 的喧哗与骚动
如何提升员工体验 助力企业业务增长?这个棘手的问题终于被解决了!
接班马云的为何是张勇?
免费开源!新学期必收藏的AI学习资源,从课件、工具到源码都齐了
值得收藏!16段代码入门Python循环语句
我在快手认识了 4 位工程师,看到了快速发展的公司和员工如何彼此成就!
幼儿识字从比特币开始? 小哥出了本区块链幼教书, 画风真泥石流……