分布式存储系统可靠性系列五：副本放置算法 & CopySet Replication

本文来自网易云社区

作者：孙建良

在分布式存储系统 中说明了，在一定情况下，copyset的数量不是越多越好，在恢复时间确定的情况下，找到合适的copyset的数量可以降低数据丢失的概率。

在分布式存储系统可靠性系列文章分布式存储系统可靠性-设计模式一文中也总结道：

为了提高存储系统数据可靠性，首先在系统允许的成本范围内选择合适的副本数，再次在系统设计中我们首先优先考虑加快数据恢复时间，在此基础上减小系统的copyset数量。使得在既定的成本下达到尽可能高的可靠性。

其实在业界也已经有团队在这方面有过实践和经营总结。《Copysets: Reducing the Frequency of Data Loss in Cloud Storage》，这篇paper是斯坦福大学的学生在facebook HDFS集群上作实验，为了有效降低数据丢失概率，数据放置算法，从原来的Random Replicaiton更改为copyset Replication 算法，实验结果说明可以将FaceBook HDFS集群1%节点故障时的数据丢失概率从22.8%降低道0.78%

• Motivation: 降低数据丢失概率

• Innovation: 减少copyset数量可以降低数据丢失概率

• Implementation: copyset Replication

• Evaluation: 在Facebook HDFS集群1%节点故障时，22.8% to 0.78%

以下总结分析3种较为典型的副本分布策略，即 Random Replication、Randon Relication With Failure Domain、CopySet Replication,并简单分析这些策略情况下的数据丢失概率。

1 Random Replication

如上为典型的副本随机放置策略，1个大文件分为很多chunk(或称为block)，chunk的大小比如64M, chunk的放置并没有什么限制，每个chunk数据的放置基本是按照随机策略进行，当然也可能会考虑容量的均衡，但是基本上是属于一种随机策略。

在R副本，节点数为N的集群中：

• 集群放置方式（即最大copyset数量） K = C(N, R)

• R个节点故障：C(N, R)

• R个节点故障时，丢数据概率：Min(K, #chunk) / C(N, R) = 1

• 如果chunk很多，概率接近于1

2 Random Replication With Failure Domain

如上这种机架感知的副本放置策略情况下，主要的设计原因为保障数据可用性，在一个机架端点或者故障情况下，还有其他机架上的数据还是可用的。如图中所述，放置策略为：

• 一个副本放置在本节点

• 第二个副本放置在remote Rack的 节点上

• 第三个副本放置哎remote Rack 的另外一个节点上

• 如果还有其他副本，其他副本随机放置

在R副本，节点数为N，故障域数量为N的集群中：

• 集群放置方式（即最大copyset数量）：K = C(Z, 2)  C(N/Z, 1)  C(N/Z, R-3)

• R个节点故障：C(N, R)

• R个节点故障时，丢数据概率：Min(K,#chunk) / C(N, R)

3 CopySet Replicaitions

从上面2中放置策略可以基本得出较为单一的结论：

• 放置方式越多，数据越分散，发生R节点故障时，数据丢失概率越大。

当然并不是说放置方式越少越好，最小的方式直接组织磁盘为RAID 0 mirror 方式，但是这种情况下数据恢复时间较长，从而会进一步加大数据丢失概率。

这里先不讨论，恢复时间和数据分散 在什么样子的搭配情况下会得到最优的情况。只探讨在固定恢复时间情况下，如何有效控制数据打散程度，得到最好的可靠性。

恢复速度与scatter width成正相关，所谓scatter width：

scatter width: 一块盘上的数据所对应的副本数据会打散到其他盘上，所谓scatter，就是所有这些副本数据所对应的盘的数量。scatter width 越大，参与进行数据恢复的节点越多，恢复速度越快，所以固定恢复速度情况下，是可以算出究竟需要多大的scatter width。

scatter width 确定情况下，如何副本放置算法如何确保磁盘的scatter width？

接下来就是轮到CopySet Replication 算法出场了。

其实算法原理很节点，看下下面这张图就成，算法根据系统节点数，和副本数量，进行多个轮次的计算，每一轮次把所有节点按照副本数划分为 N／R 个copyset。每次确保其中的copyset 不与当前和之前所有轮次中已经产生的copyset相同，最后数据写入的时候，选择一个copyset 写入即可。 由于每个排列会吧S(Scatter Width)  增加R-1,所以 算法执行P = S/（R-1） 次， K(CopySet数量) = P  (N/R) = S/(R-1) (N/R)

显然相比前两种策略，CopySet Replication在保障恢复时间的基础上能够得到最佳的数据分布策略。

另外在随机放置情况下，其实如果使用小文件合并成大文件的存储策略，可以通过控制大文件的大小，从而控制每个磁盘上大文件的数量，比如100G一个文件，8T盘上的最大文件存储数量也就是8T/100G = 80个文件，显然也就是能够很好的控制一个数据盘的数据打散程度，但是相对而言CopySet Replication 更多的是一种较为通用的算法，而这种算法更多的是适用于特定构架的分布式存储系统，即小文件合并成大文件。

4 参考文献

• 《Copysets: Reducing the Frequency of Data Loss in Cloud Storage》

• http://www.bigdataplanet.info/p/what-is-big-data.html

• https://www.slideshare.net/sawjd/aziksa-hadoop-architecture-santosh-jha

云硬盘是网易云提供的数据持久化服务，为云服务器和容器服务提供弹性块存储设备。

网易云免费体验馆，0成本体验20+款云产品！

更多网易研发、产品、运营经验分享请访问网易云社区。

相关文章：
【推荐】 质量报告之我见
【推荐】 SpringBoot入门（五）——自定义配置
【推荐】 Android应用防止被二次打包指南