分布式存储的简介

需求

  • 存储量
  • 吞吐量
  • 数据规模的增长-损坏率 ---> 数据可靠性
  • 服务高可用
  • 高效运维
  • 低成本



大规模分布式系统的挑战

  • 大规模数据,比起单机系统,更容易出现小概率事件
  • 小概率事件
    • 磁盘错误: 磁盘年损坏率5%,机器日宕机率1%%。怎么把慢节点绕开,怎么把程序平滑的移动到别的机器上
    • Raid卡故障:带Cache的Raid卡
    • 网络故障:网络架构为交换机树形结构,交换机断掉后可能导致一部分机器与其他机器不连通。一次写入时,可以将数据写到不同的交换机下的机器
    • 电源故障:写入 Latency 10-20ms,断电可能导致MemCache里的数据丢失。
    • 数据错误:可能出现在磁盘、网络、内存等。用CRC校验,对数据进行全链路保护。
    • 系统异常:Linux系统相对稳定,时钟NTP server造成时钟跳变。



常见的分布式系统

  • HDFS 应用最广泛
  • Ceph 应用在块存储系统
  • 盘古 阿里云
  • 其他: GPFS, Lustre, MooseFS

你可能感兴趣的:(分布式存储的简介)