深入浅出分布式存储的设计与优化之道

随着信息化程度的不断提高，全球数据日益膨胀。面对当前PB级的海量数据存储需求，传统的存储系统在容量和性能的扩展上存在瓶颈。云存储以其扩展性强、性价比高、容错性好等优势得到了业界的广泛认同。由于其前瞻性，众多企业都将其作为进军云计算的第一步。分布式文件系统和分布式块存储作为云存储中重要的技术，成为奠定云存储发展的重要基石。

对于大多数专注于云计算本身的IT技术人员来说，对分布式文件系统和分布式块存储未必有深入的了解。为此，UCan下午茶-武汉站，我们邀请了分布式文件系统、分布式块存储以及云存储相关的技术专家，一起聊聊分布式存储的那些事儿。

分布式文件系统产品架构解析——UCloud 邓瑾

分布式存储产品在各类产品业务中是必不可少的基础设施，了解存储产品的设计思路及使用场景，可以让用户更好地基于存储产品构建自己的业务逻辑。来自UCloud 文件存储研发工程师邓瑾，围绕UCloud分布式文件系统UFS的设计理念和开发实践，分享了如何解决业务多样性对存储产品的要求、如何解决前一代产品中遇到的局限性以及如何避免同类的开源产品的瓶颈等难题。

邓瑾认为，分布式文件系统是传统文件系统的延伸，用户可以通过分布式技术手段和公有云规模效应，获取传统文件系统所没有的存储能力：1）scale out: 容量和性能的线性/近线性提升；2）fault tolerant: 屏蔽硬件故障，提升数据可靠性与系统可用性；3）lower TCO & pay-as-you-go: 这是云计算产品所独有的特性，它能够给应用层的用户提供一些比较低的TCO。

UFS（UCloud File System）是UCloud完全自主研发、面向公有云业务设计的高可用/高可靠文件存储服务。设计之初，研发团队主要是利用开源软件GlusterFS快速在公有云环境中进行产品原型验证，但在运营过程中发现，GlusterFS在多租户的公有云环境中有较多的痛点和难点，如规模拓展性具有瓶颈(peering开销大)，节点数量受限；无法进行多集群的管理与灰度管理；索引操作容易引起高IO从而影响数据操作性能，小文件访问和大目录操作性能极差等等，基于这些问题，UCloud最终决定进行自研产品的设计改进。

根据开源方案运营的痛点，UCloud首先将索引和数据分离，自定义的索引结构和语义，便于后续拓展非 NFS 协议；然后独立设计的存储服务，支持 set 管理、灰度等策略；此外，设计支持百万级大目录和TB+文件大小并支持QoS，对多租户场景下的用户访问进行隔离；最后，通过数据加密与切片策略，保证数据的安全性。下图为UFS 1.0 的方案架构。

 

 

通常，一个成熟