Ceph分布式存储高性能设计

随着数据量的不断增长，如何以高效的方式存储数据量成为IT界的一个挑战。许多传统存储解决方案不能满足日益增长的需求，业界迫切需要一种新的方法来管理现今的数据，为用户控制访问时间，缩减管理成本。

软件定义的存储解决方案是存储大量数据的一个新兴方案。当代网络，云计算、大数据技术的应用使得数据呈指数增长，每天增长达百万兆背景字节的数据量是常见的情况。我们迫切需要一种更有效的解决方案，如可伸缩扩展的软件定义存储解决方案Ceph。

Ceph是一个具有高度可扩展性、开放源码的软件定义存储解决方案，能够提供基于对象，块和文件系统的统一的分布式存储集群服务。Ceph可以改造公司的IT基础设施来管理海量数据，并提供非常好的可扩展性，存储集群可以容纳大量的利用硬件和守护进程的分布式存储节点，互相之间复制分发数据。Ceph监控在Ceph存储集群的也具有分布式的特点，从而保证高可用性。

一个高度可扩展的容错存储集群，网络架构和运行Ceph的MON（Monitor，监控）和Ceph OSD（Object Storage Device，提供存储资源）一样重要。对于Ceph存储集群的主要指标就是高扩展性和高可用性，因此，网络显然必须有能力处理预期的客户端数量和每个客户端的吞吐量。该网络还必须处理Ceph OSD的心跳、数据复制、集群再平衡以及故障恢复。在正常操作中，一个单独写主OSD的操作会间接导致写非主的OSD，写的次数基于我们的复制因子。因此，集群网络的流量显著超过了公众网络在正常工作条件下的流量，在公共网络中，Ceph客户端读取和写入数据到Ceph OSD守护进程以及发送OSD心跳信息，而在集群网络，Ceph OSD守护进程彼此检查Ceph OSD的心跳信息，当系统出问题的时候，发送状态报告给监视器，复制对象，重平衡集群以及实现backfill和恢复。

WinStore是云宏提供的企业级分布式软件定义块存储解决方案。它针对Ceph在性能方面进行深度优化，对可靠性、易用性、可管理性实施改进，实现自动化运维。WinStore不但可支持运营商实现PB级以上容量的存储资源池，也可帮助企业实现成本可控的小规模水平扩展存储，整合或替代现有中端存储设施，或构建应用融合方案，支撑各种OLTP或OLAP业务应用。WinStore分布式块存储可以帮助用户发挥通用的x86服务器硬件设施的性能潜力，在管理特性、效能和接口各方面达到传统SAN设备的水平，并具备水平扩展的能力，让用户在TCO可控的情况下轻松实现“软件定义存储”的目标。

区别于开源的Ceph，WinStore在关键环节进行了深度代码优化，包括网络和磁盘处理效率的优化、数据分层与缓存机制的优化等，使得存储系统能够胜任高并发、高输入输出效率的需求，与主流NVMe闪存技术相结合，通过SPDK新协议栈优化IO路径，突破单节点数千IOPS的瓶颈；通过配置不同性能的通用硬件，无缝适应冷热数据切换等各种应用场景的性能需求。同时WinStore也具有卷级的QoS（Quality of Service）设置，支持最为广泛的客户应用接口。