文章首发:申耀的科技观察
毫无疑问,目前全球软件行业有两个重要的趋势:一方面是“软件现在吞噬一切”,每一家公司都正在变成软件公司;另一方面是“开源也在吞噬一切”,越来越多的公司也都在拥抱开源,回馈开源。
英特尔也不例外,过去几年英特尔开始开启了由“以PC为中心”向“以数据为中心”的业务转型,而在“以数据为中心”的业务转型当中,英特尔又提出了包括制程与封装、XPU架构、内存与存储、互连、安全、软件在内的六大技术支柱。
目前,英特尔在软件领域已形成了涵盖固件IP与BIOS、硬件驱动、操作系统、虚拟化和云计算编排、底层系统库、中间件与框架层以及运行库、应用程序在内的强大软件栈生态圈;除此之外,英特尔拥抱开源也超过20多年的时间,特别是在Linux Kernel/KVM 两大社区中,英特尔代码贡献量更是常年高居第一。
从这个角度来说,软件已深深地植入到英特尔的“基因”之中。那么,在数智化转型的浪潮之下,英特尔又如何释放自身软件和开源开放的力量,推动新架构、新技术和新业务的加速落地呢?
软件优先
我们知道,在今年8月举办的英特尔“架构日2020”活动上,英特尔公布了包括Tiger Lake SoC、Xe GPU、SuperFin晶体管工艺、FPGA路线图、oneAPI框架等一系列最新的技术进展,特别是Xe GPU的出现,也正式宣告英特尔完成了Scalar(CPU)、Vector(GPU)、Matrix(ASIC)、Spatial(FPGA)四大计算类型芯片的全覆盖。
对此,英特尔架构、图形和软件集团副总裁兼中国区总经理谢晓清表示,随着异构计算的强势崛起,应用场景越来越多样化,以及用户对应用体验追求的不断提高,这些都对软件提出了前所未有的挑战和要求。为此,英特尔也“与时俱进”的提出了全新的软件策略,希望能更好的发挥出软件的价值优势,具体而言:
一是,软件优先。从计算的角度来看,英特尔过去几十年在CPU上构建的软件生态是一笔宝贵的“财富”,这让英特尔无论是在编程语言、系统库还是工具链方面都有着强大的生态支持,但Xe GPU毕竟刚刚“崭露头角”,未来在图形、多媒体、计算领域都需要更强大的软件支撑,在这方面英特尔则可以利用现有的软件生态作为基础,为Xe GPU下一步的发展打下一个更好的起点和基础。
二是,易于扩展。目前GPU市场中的细分领域非常多,不同市场需要不同的功耗,不同的性能。对英特尔来说,未来也也希望能够最大限度的得到所有GPU开发者的支持,因此软件的可扩展性就变得至关重要。
三是,全新的计算负载和用户场景。目前,面对越来越多样化的工作负载和应用场景,传统的软件和解决方案已“疲于应对”,因此英特尔软件未来的重点和方向,将是发展新的计算负载和用户场景,这是未来的大势所趋,也是英特尔差异化的价值所在。
不仅如此,在英特尔全新软件策略的落地中,oneAPI无疑也扮演了一个十分关键的角色。在今年稍早之前,英特尔发布了oneAPI的全新规范,12月又发布了oneAPI的Gold版本,全新版本中核心是Data Parallel C++ (DPC++),这是建立在 C++ 和 Khronos SYCL 标准之上的语言,除了基于 LLVM/Clang 的 DPC++ 编译器工具链外,oneAPI 还包含了许多库,如深度学习的 oneDNN、作为数学内核库的oneMKL、用于分析的oneDAL、用于线程的oneTBB,以及用于视频处理的oneVPL 等软件组件。
谢晓清认为,oneAPI能够给开发者带来三个方面的价值:包括能给开发者一个非常友好的编程环境,使得开发者可以自由选择它的硬件平台;英特尔提供的编译器、系统都是高度优化的,因此开发者可以实现最大化的硬件产能,并且能以最优的方式支持不同异构计算的硬件加速。此外,它的开发模式非常快速、高效,这样就使得原码的维护成本可以达到最低。
“oneAPI的口号是‘No Transistor Left Behind’,而今年12月份推出的全新Gold版本将会率先支持CPU和GPU,今后oneAPI还会陆续支持其他的AI硬件加速以及FPGA等计算芯片,这样就能让开发者可以更快速有效的完成软件的开发工作。”她说。
由此可见,在“软件优先”策略的推动之下,同时借助oneAPI这样全新的开发工具,英特尔正在使未来多计算架构的软件普及化变为“新常态”,相信也能够更好的支持更广泛的行业生态系统和更多的开发者,在统一软件架构的赋能之下,实现应用开发创新的“新演进”。
开源开放
除了强化软件的价值之外,面对数据、算法、算力共同驱动的人工智能浪潮的兴起,英特尔也在开源开放方面加大了投入,其中最为标志性的事件就是去年6月英特尔在中国宣布设立了大数据分析和人工智能创新院,希望加快统一的大数据分析和人工智能技术的创新和应用。
在英特尔大数据技术全球CTO、大数据分析和人工智能创新院院长戴金权看来,AI已成为了当下中国产业升级和企业数字化转型中的新动能和驱动力,但是AI要走向更为广泛的产业应用,其实是一项非常复杂的精细化工程。
在此过程中,开发者往往会遭遇两大挑战:一方面是数据量非常庞大,开发者面临着如何将AI算法应用到复杂的数据中去;另一方面是数据非常复杂,不同行业的AI算法定制代码工作量大,耗时长,无法快速实现业务上线,比如在数据标注与准备阶段,数据标注与准备就非常耗时费力,约占整体开发时间50%,所以业界常说“没有人工就没有智能”,因此如何将AI直接应用到大数据的生产环境之中,并且能够无缝的进行大规模的扩展,以达到最好的AI应用效果是目前的“当务之急”。
面对这种行业难题,英特尔也开源了一款大数据 AI 的开源软件平台Analytics Zoo,Analytics Zoo构建在oneAPI底层的加速库优化框架之上,能够将数据做并行化处理,无论开发者用的是TensorFlow、PyTorch、spark,Flink、Ray都可以很容易地实现部署,而不用再去做优化,最后Analytics Zoo都会自动完成集群调度和分布式计算,让整个AI的开发过程变得“行云流水”。
戴金权表示,Analytics Zoo具备端到端大数据+AI的软件能力,其中底层提供数据流水线的能力,能够帮助开发者直接无缝的将AI模型运行在其分布式大数据上;中间层提供机器学习的工作流,能够将很多人工的作业、人工的任务自动化起来;最上层,则构建了非常多的不同应用场景,包括推荐系统、时间序列分析、计算机视觉以及自然语言处理等,这也意味着大数据+AI能够以一站式开发的全新方式,进入高度自动化、智能化的新时代。
客观的说,Analytics Zoo不仅实现了赋能行业大数据+AI的应用开发者,更全面提升行业了AI的开发效率和落地效果。“我们一直致力于将前沿的创新技术带给开发者,无论是2016年开源的BigDL,还是两年前开源的Analytics Zoo,目的都是希望把端到端的大数据和AI打通,在此基础上我们又陆续加入了AutoML等新技术,这些开源平台、开源项目的出现,可以让更多的开发者轻松构建实际的应用场景。”戴金权告诉我。
不难看出,当英特尔通过oneAPI打通了底层的架构之后,又通过Analytics Zoo等开源软件平台提供了一种全新的行业AI落地方式,可以说无论是对行业开发者,还是对AI走进千行百业而言,都会产生巨大的作用和价值,真正让大数据+AI“无所不及”。
赋能创新
今天,随着软件优先和开源开放策略的落地,英特尔的行业赋能创新之路也越走越宽、越走越有力量。
例如,英特尔oneAPI和最新发布的GPU—SG1就在整个安卓云游戏的框架中就起了非常多的作用,这一方案有望在腾讯云上率先完成产品化。据介绍,在CPU端英特尔用容器的技术把安卓应用跑到轻量级的容器当中,这样就能充分利用英特尔至强的计算能力,提供云端协同的杀手级应用。在此基础上,英特尔Server GPU强大的图形渲染能力以及多媒体编解码能力,则能够帮助用户利用独立GPU把云游戏的图形界面在云端直接渲染,并且利用流媒体的方式,把它编码之后直接发布到终端。
腾讯先游云游戏平台副总经理Allen Fang,就对该方案就给予了很高的评价,认为在至强可扩展处理器和独立显卡的支持下,英特尔提供了高密度、低延迟、低功耗、低TCO的解决方案,一个有两张SG1显卡的至强服务器就能运行超过100个游戏实例,包括《传说对决》和《王者荣耀》这类流行的游戏。
再如,金风慧能也基于Analytics Zoo为纽带,利用深度学习与机器学习的方法,结合风机级气象预报、风轨迹模拟等气象预报数据,以多模型组合的方式来构建用于功率预测的全新智能方案。
该方案中通过Analytics Zoo,金风慧能把Spark、TensorFlow、Keras及其软件和框架无缝集成到同一管道中,这样就能更好的将数据存储、数据处理以及训练推理的流水线整合到统一的基础设施上,减少用于硬件管理及系统运维的成本。
此外,Analytics Zoo不仅可为方案提供统一的端到端分布式方案,还能帮助用户提升系统的开发部署效率和可扩展性,特别是在时序数据分析方面提供更强的助力。测试数据显示,金风慧能最终的风电功率的准确率从最初的59%左右提升到79%左右,在提高风电功率预测准确率的同时,也大大提高了端到端训练的效率。
总的来看,异构计算的兴起,结合无处不在的海量数据,以及利用深度学习不断演进的算法催生出的智能化浪潮,其所产生的实际应用效果和商业影响力远远超出了以往。
在此过程中,英特尔通过不断的创新,通过oneAPI提供的统一平台和Analytics Zoo的开源开放,无疑最大化的帮助企业快速构建了一套端到端的数据分析加AI的解决方案,彻底解决了从底层架构、数据收集、数据预处理、训练到模型部署的所有问题,不仅实现了快速响应不同行业、不同场景的定制需求,更让行业“普惠AI”之路从梦想真正变为了现实,其价值可谓“不止于眼下,更关乎未来。”