华为云计算——FusionStorage数据路由原理(FusionStorage基于DHT技术实现Key-Value存储系统)

1.基础概念

DHT:FusionStorage中指数据路由算法。 Distributed Hash Table,分布式哈希表。是一种分布式存储方法。在不需要服务器的情况下,每个客户端负责一个小范围的路由,并负责存储一小部分数据,从而实现整个DHT网络的寻址和存储。

Partition:代表了一块数据分区,DHT环上的固定Hash段代表的数据区。

Key-Value:底层磁盘上的数据组织成Key-Value的形式,每个Value代表一个块存储空间。

Volume:应用卷,代表了应用看到的一个LBA连续编址。

VBS (Virtual Block System) 虚拟块存储管理组件,负责卷元数据的管理,提供分布式集群接入点服务,使计算资源能够通过VBS访问分布式存储资源。

OSD (Object Storage Device) 对象存储设备服务,执行具体的I/O操作。一般来说一块硬盘对应部署一个OSD,但是像SSD这种高性能的固态硬盘为了提高其IO性能可以部署多个OSD。

华为云计算——FusionStorage数据路由原理(FusionStorage基于DHT技术实现Key-Value存储系统)_第1张图片


2.FusionStorage数据路由原理

系统初始化时,FusionStorage将哈希空间(0~2^32)划分为N等份,每1等份是1个分区(Partition),这N等份按照硬盘数量进行均分。例如:两副本场景下,系统N默认为3600,假设当前系统有36块硬盘,则每块硬盘承载100个分区。上述“分区-硬盘”的映射关系在系统初始化时会分配好,后续会随着系统中硬盘数量的变化会进行调整。该映射表所需要的空间很小,FusionStorage系统中的节点会在内存中保存该映射关系,用于进行快速路由。

FusionStorage会对每个LUN在逻辑上按照1MB大小进行切片,例如2GB的LUN则会被切成2048*1MB分片。当应用侧访问FusionStorage时候,在SCSI命令中会带上LUN ID和LBA ID以及读写的数据内容,OS转发该消息到本节点VBS模块,VBS根据LUN ID和LBA ID组成一个key,该key会包含LBA ID对1MB的取整计算信息。通过DHT Hash计算出一个整数(范围在0~2^32内),并落在指定Partition中;根据内存中记录的“分区-硬盘”映射关系确定具体硬盘,VBS将IO操作转发到该硬盘所属的OSD模块。Key值的计算方式:Key=LUN ID+LBA ID/1MB。

每个OSD会管理一个硬盘,系统初始化时,OSD会按照1MB为单位对硬盘进行分片管理,并在硬盘的元数据管理区域记录每个1MB分片的分配信息。OSD接收到VBS发送的IO操作后,根据key查找该数据在硬盘上的具体分片信息,获取数据后返回给VBS。从而完成整个数据路由过程。

举例说明:应用需要访问LUN1+LBA1地址起始的4KB长度的数据,首先构造key=LUN1+LBA1/1M,对该key进行HASH计算得到哈希值,并对N取模,得到partition号,根据内存中记录的“分区-硬盘“映射表可得知数据归属的硬盘。

华为云计算——FusionStorage数据路由原理(FusionStorage基于DHT技术实现Key-Value存储系统)_第2张图片

总结:

VBS将操作系统的SCSI命令中的key提取出来,通过哈希运算,确定访问数据内容落到DHT环上的哪块Partition上,根据Partition和Disk的对应关系(系统初始化时形成),确定数据存放在那个服务器上的哪块盘上,再通过OSD通过计算确定数据存放在硬盘的具体位置并将获取的数据返回给VBS。

华为的FusionStorage采用分布式集群控制技术和DHT路由技术,提供分布式存储功能特性。

你可能感兴趣的:(FusionStorage)