协同存储，为边缘计算创造更大价值

01 数据的爆发为存储带来持续挑战

在5G时代下，视频和图片因其强大的信息承载力，已经成为数据内容的主要载体和信息传播的主要方式。而5G的大带宽、低时延、广连接的特性激活了云游戏、物联网、视频监控等场景应用，从消费互联网到产业互联网的延伸，更加促进了终端应用和数据的爆发。

这些终端和数据具有位置分散、规模大、以及价值密度相对较低等特点，典型的如：视频监控录像/截图、云游戏录像、海量临时日志文件等。一方面，我们需要提供就近、低延迟的数据接入与存储能力，另一方面，我们需要在边缘进行数据的精细化管理，与计算相结合，分析其中的关键片段以及其结构化信息。

这样的场景和需求对计算和存储的方式带来了严峻挑战和根本性变化。

 

02 基于边缘云构建位置无感的协同存储服务

用户在使用对象存储时，针对海量数据，提出了大流量、就近、低延迟的要求，边缘云在这些方面具备天然优势，但边缘云的对象存储在使用方式和体验上存在明显不足。相较于传统中心云的region化使用方式，边缘云的单点规模较小，并且节点数多了几个量级。

如果每个边缘云节点独立进行对象存储服务，无异于将复杂的逻辑交给用户，用户使用时将面临节点资源管理、资源读写调度、单节点可用性运维等诸多复杂问题。这会对用户业务带来巨大的挑战，任何节点状态的变化，都可能带来业务的感知，处理不好甚至会对业务造成严重影响。

以摄像头数据上云为例，传统的方式，用户需要感知终端设备的地理位置，并且需要去维护海量终端设备和云上地址的对应关系，一旦出现单点故障，用户需要做大量的动作来进行调度和迁移。

 传统的数据上云架构

而理想的架构中，用户无需关心具体的云上位置，希望与云只有一个交互面，就能实现全网设备的就近、低延迟接入，并且无需关心云上单节点的负载、水位、异常等情况。

理想的数据上云架构

边缘计算孵化了位置无感的协同存储(EOS)服务，通过中心管控和多个边缘节点进行协同，将分布在各地边缘节点的物理存储资源，组成一个逻辑统一的对象存储资源池。用户无需关心读写位置和单节点可用性带来的运维和调度问题，即可得到与使用公有云对象存储一致的接口体验，以及由数量众多的边缘存储资源整合而带来的大容量、高弹性的存储资源池。

 

03 协同存储核心模块

 

协同存储采用了典型的云边协同架构，其核心包含中心管控与边缘节点两部分，其中，中心管控包含以下管理模块:

1.元数据管理：汇聚全网的元数据进行统一管理，与文件读写调度、文件生命周期等联动；

2.资源调度：负责逻辑存储桶与物理存储桶的映射关系管理，根据节点状态、水位进行全局资源动态规划；

3.读写调度：根据用户地理位置、所需资源量、文件分布等因素进行全局文件读写调度；

4.多点数据协同：对节点数据进行跨节点复制或数据迁移，提高整体服务可用性；

边缘节点包含以下管理模块：

1.节点网关：提供节点文件读写服务，如存储协议兼容、http/ https访问支持、动态配置、跨域管理、流控、日志监控等。

2.边缘管控

• 与中心管控协同完成完整的管控逻辑，同时在节点范围内具备一定的边缘自治能力;
• 负责节点内存储管理、跨节点数据复制/迁移等操作;
• 负责节点内多引擎容灾。

3.存储引擎：提供基础的存储能力(文件读写等)以及文件容灾能力(EC、三副本等)。

04协同存储的关键技术

 

基于边缘节点构建的位置无感分布式协同存储，关键技术在于以下几点：

1.节点统一纳管与调度

 对用户而言，和边缘云只有一个交互面，协同存储将多个物理节点抽象为一个逻辑节点，通过全网资源的统一纳管，进行多维度的协同调度，过程中会综合地理位置、节点带宽、存储空间、设备亲和性等众多因素，从而实现服务的高可用以及数据的就近存取，同时，协同存储提供了灵活的接入和调度策略供业务按需使用（全国、区域、运营商、单节点、自定义节点范围）。

2.文件读写调度

协同存储物理文件存储在边缘节点，存储空间、文件元信息等汇聚到中心，进行统一的管理和检索。

使用方式上，文件写入和读取均可采用302调度方式，写入统一域名，协同存储经过地理位置、节点水位等综合调度后，将请求跳转到真实的物理节点进行读写，用户无需关心终端所在位置，即可快速就近、低延迟接入。

3.实时的节点状态和容量监测

协同存储会对单个节点进行实时状态与水位检测，当单点不可写时，会自动将请求迁移到其他节点，完成服务无感漂移和切换，单点恢复后快速复制同步。

4.跨节点多副本

为了应对节点割接、容灾等场景，协同存储提供了跨节点多副本的冗余能力，将数据进行节点间错峰同步。当单点不可用时，协同存储会进行流量的快速转移，同时也可以在访问量大时进行多节点读负载均衡，整个过程用户无感知。

 

5.边缘统一的存储访问网关

在整体架构上，协同存储通过边缘统一网关进行异构资源的适配，不管是从API、SDK还是授权体系，完全兼容现有的使用方式，这对于海量的数据源来说，只需要简单配置，便可以快速将数据上传到协同存储，从而确保给用户云边一体化的使用体验，同时去除了Region概念，直接采用了统一的域名接入和管理方式，真正实现了只上一朵云、只存一朵云。

目前协同存储已经在众多场景下落地，典型的如监控设备的截图/录像上传、车载场景的数据就近写入等。未来，我们将与边缘算力进行更加紧密结合，助力网、算、存一体化的边缘计算体系发展。协同存储的演进，必将为边缘更多场景的落地提供有力支撑，为边缘计算带来更多的可能性。