想想一辆自动驾驶汽车,它实际上是车轮上的数据中心。
彼得莱文
随着数据量的继续增加以及数据处理多样化的要求,基于云端的大数据处理面临诸多挑战。
以当下火热的自动驾驶汽车为例,从产品形态上看,自动驾驶汽车更像是一个「移动数据中心」。由于配备了非常多的传感器,汽车随时随地都在感知周围环境,从而源源不断地产生数据。汽车需要将这些数据实时处理,形成汽车行驶过程的指令。
比如当汽车感知到右侧有车流汇入时,就需要实时计算出车速、车距(包括与右侧、左侧、前、后),进而下达指令,或是减速,或是并道,这一系列复杂的计算过程必须实时而且还需要低延时。此时,如果数据在云端服务器处理,那么数据传输过程中的任何的延时都可能导致一场车祸的发生。
类似这样的数据处理需求正在变得越来越多,比如普通人类个体每天产生的数据量也以惊人的速度增长。预计到 2020 年,普通人每天平均产生 1.5GB 的数据,这些数据可能来自于智能手表、手环收集的运动数据,也可能来自智能手机收集的交通数据以及你浏览网页、社交媒体等产生的 Cookie 数据等等。
新的数据需求也催生了新的技术/商业模式,这便是最近一两年来「边缘计算(Edge computing )」所产生的大背景。
边缘计算的优势
在边缘计算的发展过程中,还有一个概念值得注意,这就是所谓「雾计算(fog computing)」。
这两个概念有容易混淆。「雾计算」更强调在设备的网关里处理数据,数据被「雾计算」收集到设备的网关,进而处理、存储,并将处理后的数据发挥需要数据的设备中。
而边缘计算更强调「边缘」,也就是更靠近数据生成的设备端,「雾计算」则介于云计算和边缘计算之间。
这也意味着,边缘计算有着诸多「先天优势」,其一,更实时、更快速的数据处理能力。由于减少了中间传输的过程,数据处理的速度也更快。
其二,成本更低。边缘计算处理的数据是「小数据」,从数据计算、存储上都具有成本优势。
其三,更低的网络带宽需求。随着联网设备的增多,网络传输压力会越来越大,而边缘计算的过程中,与云端服务器的数据交换并不多,因此也不需要占用太多网络带宽;
第四,提升应用程序的效率。结合上面的三个优势来看,当数据处理更快、网络传输压力更小、成本也更低的时候,应用程序的效率也会大大提升。
第五,边缘计算让数据隐私保护变得更具操作性,这在今年 5 月欧盟通过史上最严格的数据保护法律之后意义重大。由于数据的收集和计算都是基于本地,数据也不再被传输到云端,因此重要的敏感信息可以不经过网络传输,能够有效避免传输过程中的泄漏。
风险投资公司Andreessen Horowitz的普通合伙人Peter Levine认为,云计算很快将退居边缘计算领域 - 我们很快就会看到大部分处理都发生在设备层面。
他对Edge Computing(源代码Techcrunch)有一个有趣的比喻:
Levine说:“想想一辆自动驾驶汽车,它实际上是一个轮子上的数据中心,无人机是一个带翅膀的数据中心,一个机器人是一个带有手臂和腿的数据中心,而一个[船]是一个浮动数据中心...“他补充说,”这些设备正在处理大量信息,而且需要实时处理信息。“他的意思是即使在这些系统和云之间传递信息所需的瞬间延迟也只需要太长。
自20世纪60年代以来,我们观察到从大型机到客户端 - 服务器模型再到集中式云方法的分布式计算环境的范式转变。下一个发展将包括将智能分配回网络的拓扑边缘。这种自然演变降低了网络上的依赖性和负载,并增强了数据隐私和保护。Edge Computing适用于多个应用领域,可实现5G,人工智能,工业物联网或数字双胞胎等领域。
例如:
无人机 - 可以到达人类无法到达的偏远地方,边缘计算使他们能够实时查看数据并做出响应。例如,如果无人机发现任何紧急事件,它可以立即向附近的乘客提供有关沉船的有价值信息。
增强现实 - 边缘计算平台可以通过提供特定于用户兴趣点的高度本地化数据来支持AR服务。
自动驾驶汽车 - 谷歌和优步等科技巨头正在开发自动驾驶汽车,其中边缘计算可以发挥重要作用,实时处理和传输关键数据到其他通勤车辆。谷歌和优步希望到2020年使自动驾驶汽车成为消费者现实。希望自动驾驶汽车能够挽救成千上万的生命和数十亿美元的汽车伤亡。
& 还有很多…
物联网设备,边缘计算,云计算,互联网都是兄弟姐妹,它们利用人类智能为自己提供燃料并努力使这个世界变得非常聪明,紧密地编织和超高效。
由于边缘计算市场估计到2023年将产生高达190亿欧元的价值,在论坛上将展示最新的技术方法及其在Edge Computing领域的优势,以讨论构建基于边缘的工业的开放性问题。通过使基础设施具有互操作性,可编程性,安全性和易用性来实现生态系统。这包括在用例中识别参考体系结构,开放标准,可用实现,参考技术栈和评估。此外,还将介绍从最近的测试平台中获得的最佳实践和经验。去年,西门子,IBM,西门子,华为,沃达丰,Telekom等公司的100多名决策者,关键专家,创新者和早期采用者参加了会议。
架构模型边缘计算(RAMEC)中涵盖的大多数领域:
连通性(例如TSN / 5G)
硅(例如x86 / ARM)
操作系统(例如Unikernels)
中间件(例如OPC UA)
信息(例如分布式数字双胞胎)
应用程序(例如分布式AI / vPLC)
安全性(例如TPM)
实时(例如RTOS)
加速度(例如边缘TPU)
虚拟化(例如Unikernels)
管理(例如Kubernetes)
参考架构模型边缘计算(RAMEC) CC-BY 4.0 Fraunhofer FOKUS
边缘计算和分析可以解决从石油和天然气生产到银行和零售商等企业的挑战。
安全摄像头,电话,机器传感器,恒温器,汽车和电视只是日常使用中的一小部分,可以创建可以在各个级别进行挖掘和分析的数据,并且可以由各个公司处理,帮助他们自动化他们的工作场所以减少成本,最终提高安全性和投资回报率,采用边缘计算基础设施
这种 IIoT(工业物联网)使能器已经被用于各种工业领域:
石油和天然气:用于远程监控油气。它已经被顶尖的石油和天然气公司用于在他们找到使用预测分析之前检测机械级别的故障。
化学工业:它被用于建造智能石油精炼厂,在这里精心分析该过程,以提高生产率和工作场所的安全性。
能源部门:在各种能源生产行业中使用,以减少他们的能源损失,使他们的能源设备可靠和高效。各种半导体制造公司正在使用它来降低微芯片的故障率。
通勤部门:各种运输公司正在利用边缘供电的物联网设备和计算服务来帮助找到合适的停车区域并减少停车停机时间。各种AI算法正在与这些边缘设备一起工作,以优化停车位并收集实时交通和导航数据。他们使用此分析来做出明智的决策。
Edge Computing
Since the 1960's we have observed paradigm shifts in the context of distributed computing from mainframes to client-server models and back to centralized cloud approaches. The next development will include the distribution of intelligence back to the topological edge of the network. This natural evolution decreases dependency and load on the network and enhances data privacy and protection. Edge Computing is applied in several application domains and enables areas such as 5G, Artificial Intelligence, Industrial Internet of Things, or Digital Twins.
As the Edge Computing market is estimated to generate a value of up to 19 Billion EUR by 2023, at the forum the latest technological approaches and their benefits in the area of Edge Computing will be presented to discuss open issues to build an industrial Edge-based ecosystem by making infrastructures interoperable, programmable, secure and easy to use. This includes the identification of reference architectures, open standards, available implementations, reference technology stacks and evaluation within use cases. Further, best practices and experiences gained from recent testbeds will be presented. More than 100 decision makers, key experts, innovators and early adopters from companies such as Siemens, IBM, Siemens, Huawei, Vodafone, Telekom etc. were represented last year.
We will address most of the areas covered in the Reference Architecture Model Edge Computing (RAMEC):
Connectivity (e.g. TSN/5G)
Silicon (e.g. x86/ARM)
Operating Systems (e.g. Unikernels)
Middleware (e.g. OPC UA)
Information (e.g. Distributed Digital Twins)
Applications (e.g. Distributed AI / vPLCs)
Security (e.g. TPM)
Real-Time (e.g. RTOS)
Acceleration (e.g. Edge TPU)
Virtualization (e.g. Unikernels)
Management (e.g. Kubernetes)
把云计算看作是大脑,那么边缘计算就像是大脑输出的神经触角,这些触角连接到各个终端运行各种动作。
如果还觉得抽象,那我们再打个不太精准的比方吧。再用你的云大脑想象出一只章鱼,就是可以当刺身来吃的那种八爪鱼:
云计算就像是天上的云,看得见摸不着,像章鱼的大脑,边缘计算就类似于八爪鱼的那些小爪子,一个爪子就是一个小型的机房,靠近具体的实物。边缘计算更靠近设备端,更靠近用户。
这么说吧,云计算是把握整体,那么边缘计算就更专注于局部。那么边缘计算的优势就显而易见。
所谓万物互联,以时间为横坐标延伸,最大的网络就是物联网。那么边缘计算就是靠近物联网边缘的计算、处理、优化和存储。搭载物联网的发展,边缘计算的应用也十分广泛,智慧城市、智慧家居、智慧医院、在线直播,到智能泊车、自动驾驶、无人机、智能制造等各方面都有它的身影。
当然万物都有双面性,边缘计算的发展也存在不小的挑战性。
1、跨界协作的挑战
制造、能源、公共事业等行业要实现智能化,需要整合机械、电子、ICT等跨行业技术,边缘计算首先要实现OT和IT领域的深度协作,并将行业专有技术与知识与ICT数字化技术相结合。
2、技术碎片化挑战
边缘侧技术体系的每个领域都有大量的技术选择:目前业界有超过6种以上的工业实时以太技术,超过40种工业总线,还有多种公私有云平台。技术碎片化给系统间的互联互通、数据价值的挖掘带来的巨大的挑战和成本。
3、技术不确定性挑战
人工智能、区块链等新技术在行业应用还是早期探索阶段,存在不确定性风险。这些技术的早期应用者希望降低技术投资风险,获得技术应用的商业回报。
当然还有其它的挑战,毕竟新生技术的出现就注定了它将面临诸多不确定因素的挑战。
按照IDC的统计数据,到2020年将有超过500亿的终端与设备联网,未来超过50%的数据需要在网络边缘侧分析、处理与储存,边缘计算所面对的市场规模非常巨大。
物联网的存在就是不在创造新的生态,两个毫无关系的人可以通过各种方式连接,但太平洋里的章鱼如何跟大西洋里的章鱼“对话”?再赐它们几百亿个神经元也做不到,但是边缘计算可以啊!
简单地说,传统自动控制基于信号的控制,而边缘计算则可以理解为“基于信息的控制”。值得注意的是,边缘计算、雾计算虽然说的是低延时,但是其50mS、100mS这种周期对于高精度机床、机器人、高速图文印刷系统的100μS这样的“控制任务”而言,仍然是非常大的延迟的,边缘计算所谓的“实时”,从自动化行业的视角来看——很不幸,依然被归在“非实时”的应用里的。
边缘计算的玩家们
边缘计算的几个重要玩家也是公有云的巨头,亚马逊、微软、Google 先后有自己的布局。
亚马逊在 2017 年推出了 AWS Greengrass,这是一个可以将亚马逊 AWS 服务部署到终端设备的产品。官方称,通过 Greengrass,可以实现本地数据收集、处理,同时云端还可以继续管理数据。
微软在 2018 年 Build 大会上将边缘计算作为一个重中之重,我曾在 5 月的会员通讯里作出过分析:
……微软的野心是希望通过构建一个「云—端」的协同产品通道,将人工智能的各项能力输出到各个产品中,比如今年的主旨就是边缘计算。为此,微软在边缘计算领域持续发力。开源了 Azure IoT Edge Runtime,这是一个连接云和物联网设备的开发框架。开发者通过这个框架可以直接在设备端开发拥有机器学习能力的应用,比如第一批合作伙伴里的大疆,就利用这个框架实现无人机本地的图像识别功能。同时,微软还将高通拉入自己的阵营,合作的主旨也是视觉领域的边缘计算,快速构建移动终端设备上的图像处理能力……
Google 则在今年 Google Cloud Next 大会期间发布了两个产品:云端芯片 Edge TPU(硬件)和软件工具 Cloud IoT Edge(软件)。Google Cloud 官方这样介绍两个产品:
Cloud IoT Edge extends Google Cloud’s powerful data processing and machine learning to billions of edge devices, such as robotic arms, wind turbines, and oil rigs, so they can act on the data from their sensors in real time and predict outcomes locally……
除此之外,还有很多科技巨头加入到边缘计算的赛场。比如惠普企业(Hewlett Packard Enterprise)就表示将在未来四年投资 40 亿美元用于边缘计算。惠普企业的边缘计算产品名叫「Edgeline Converged Edge Systems」,其主要客户群体是工业领域,比如油田、煤矿等,这些特定行业的工作环境里,无法满足云端数据的处理条件,因此边缘计算就成为一个重要需求。
今年 4 月的云栖大会深圳峰会上,阿里云掌舵者胡晓明代表阿里巴巴宣布进军物联网,并将物联网作为电商、金融、物流、云计算之后的「新赛道」。
战略层面,胡晓明提了一个「小目标」,阿里云计划在未来 5 年内连接 100 亿台设备。而在战术上,阿里希望「打通云、边、端,整合包括物联网操作系统 AliOS Things、IoT 边缘计算产品、通用物联网平台,实现物的实时决策和自主协作。」
不过,阿里巴巴在国内将面临华为的巨大压力,在阿里巴巴发布物联网计划之后,华为的发布了一个意味深长的图片。
边缘计算的应用场景
微软 CTO Kevin Scott 曾坦言,边缘计算还处在相对早期阶段。但透过这段时间内的场景落地状况,我们也可能窥见边缘计算的潜力。
如上文所言,自动驾驶成为边缘计算领域重要的行业应用,下图是英特尔对于自动驾驶汽车上的「数据洪流」的描述。
不过,当下自动驾驶也处在早期阶段,车联网或者联网汽车则是汽车领域可以马上落地的场景。
在国内,不管是阿里旗下的斑马网络还是百度的小度车载,都在将汽车变成一种「移动的数据中心」,只是相对于自动驾驶,联网汽车的数据量和处理要求要简单很多。即便如此,由于汽车的数据处理不能出现任何的卡顿和延迟,这也就需要在汽车里部署数据处理能力。
另一个应用场景则是医疗。前几年风靡一时的所谓智能手环,本质上就是一个数据采集器,但是由于需要和云端服务器进行数据交换,使得整个手环的「智商」几乎为零。
随着苹果发布 Apple Watch 所带来的新穿戴设备潮流,这些边缘设备也终于开始拥有了自己的芯片,并能实现一些简单的计算。医生也可以通过这些计算结果作出一些简单诊断。
更进一步,在美国,医疗领域的本地数据非常多样化,比如医院的病床可以和 20 多个设备连接,这些数据被收集、清洗、挖掘之后,可以帮助医生更好地了解病人的身体状况。
工业领域,边缘计算也正在发挥越来越重要的作用。从工业发展的方向来看,数据将成为驱动生产制造的重要生产资料,那么如何处理这些海量、实时产生的数据就成为企业能否快速发展的重要课题。
以流程型生产为例,一条生产线其实就是数据流动的通道,产品从上一名工人传递到下一个工人,同时伴随着产品数据的传递。在这个过程中,如果由于某一名工人错误操作的导致了数据异常,在下一名工人开始操作时,基于边缘计算的生产线可以做出预警提示。如果再进一步,当机器学习能力被边缘计算融入到生产线的时候,工人的不合规操作可以被实时监测出来并预警,这对提升产品的良品率意义重大。
尾巴:边缘计算不是云计算的替代品
前面谈了这么多边缘计算的优势和应用场景,并不是要证明边缘计算可以替代云计算,两者没有谁好谁坏,更应该具体到不同设备、不同应用以及不同场景里,看看到底谁更合适。
两年前,利用基于云端的卷积神经网络算法,一款名叫「Prisma」迅速窜红,用户只要将自己拍摄的照片交给这个 App,就会得到一张可媲美历史名画的「艺术照片」。这款应用虽然得到全球用户的青睐,但是由于该应用的处理流程,要求每张图片都要上传到云端服务器,通过云端的卷积神经网络算法来处理这些照片,因此用户体验非常差。
这便是一个典型需要边缘计算的场景,而当 2017 年,包括华为、苹果都在新一代智能手机芯片中加入 NPU(神经网络处理单元)之后,也赋予了智能手机全新的边缘计算处理能力,华为 P20 Pro 的逆天夜拍效果,除了硬件堆积之外,处理器的 NPU 也发挥了不小的作用,去年苹果推动的 AR 应用(游戏)开发热潮,其底层的技术支撑就是 iPhone 拥有了可以在边缘处理实时、海量数据的能力。
从智能手机到可穿戴设备,从医疗到汽车以及工业制造,边缘计算正在上演一个又一个行业传奇,它的落脚点是要让终端成为更智慧的存在——能够实时处理数据、能够低延时做出反馈——这不就是我们期待中的智能设备吗?