主流分布式存储技术对比分析:GFS、HDFS、GlusterFS、Ceph、Swift

1 引言

目前市面上各个厂家的分布式存储产品五花八门,但是如果透过产品本身的包装看到其背后的核心技术体系,基本上会分为两种架构,一种是有中心架构的分布式文件系统架构,以GFS、HDFS为代表;另外一种是完全无中心的分布式存储架构,以Ceph、Swift、GlusterFS为代表。对具体分布式存储产品选型的时候,要根据其背后的核心架构来分析它本来的原貌,然后才能决定其是否适合我们的具体场景。

2 主流分布式存储技术对比分析

2.1 GFS & HDFS

GFS和HDFS都是基于文件系统实现的分布式存储系统;都是有中心的分布式架构 (图2.1) ;通过对中心节点元数据的索引查询得到数据地址空间,然后再去数据节点上查询数据本身的机制来完成数据的读写;都是基于文件数据存储场景设计的架构 ;都是适合顺序写入顺序读取,对随机读写不友好。

主流分布式存储技术对比分析:GFS、HDFS、GlusterFS、Ceph、Swift_第1张图片

图2.1 中心化的分布式存储架构

接下来,我们来看GFS和HDFS都有哪些具体特性,我们应该如何应用?

1. GFS是一种适合大文件,尤其是GB级别的大文件存储场景的分布式存储系统。

2. GFS非常适合对数据访问延迟不敏感的搜索引擎服务。

3. GFS是一种有中心节点的分布式架构,Master节点是单一的集中管理节点,既是高可用的瓶颈,也是可能出现性能问题的瓶颈。

你可能感兴趣的:(综合技术探讨及方案专栏,分布式,hdfs,ceph)