分布式文件系统对比与选型参考
目录
一、分布式文件系统
1、 数据的存储方式：
2、 数据的读取速率
3、 数据的安全机制
二、主流分布式文件系统介绍
1. GFS（Google File System）
2. HDFS（Hadoop Distributed File System）
3. Ceph
4. Lustre
5. MooseFS
6. MogileFS
7. FastDFS
8. GlusterFS
9. TFS（Taobao File System）
10. GridFS
11. MinIO
12. JuiceFS
13. ChubaoFS
14. Ozone
15. PolarFS
三、分布式文件系统的对比
1、 MinIO的优点：
2、老版本MinIO的缺点
3、新版本MinIO的优点：
4、GridFS的优点：
5、GridFS的缺点：
6、分布式文件系统特性对比
四、选型参考
1. 按特性分类
2. 根据需求分析进一步筛选
五、硬件条件对比
六、总结
七、知识拓展
一、分布式文件系统
分布式文件系统（Distributed File System）是指文件系统管理的物理存储资源不一定直接连接在本地节点上，而是通过计算机网络与节点相连。分布式文件系统的设计基于客户机/服务器模式。一个典型的网络可能包括多个供多用户访问的服务器。另外，对等特性允许一些系统扮演客户机和服务器的双重角色。例如，用户可以“发表”一个允许其他客户机访问的目录，一旦被访问，这个目录对客户机来说就像使用本地驱动器一样。
一方面云原生架构提供了很多设计理念，一方面我们也更关注用户在自己的业务场景中遇到的痛点和对应的需求，比如希望存储系统服务化，可以弹性伸缩，在海量数据面前对人、对程序同样友好，如何支持 Hadoop 生态、OLAP 产品等实现存储计算分离。同时简单、可靠、高性能、低成本当然也是一个文件存储服务必须具备的。
判断一个分布式文件系统是否优秀，取决于以下三个因素：
- 数据的存储方式：
例如有1000万个数据文件，可以在一个节点存储全部数据文件，在其他N个节点上每个节点存储1000/N万个数据文件作为备份；或者平均分配到N个节点上存储，每个节点上存储1000/N万个数据文件。无论采取何种存储方式，目的都是为了保证数据的存储安全和方便获取。
- 数据的读取速率
包括响应用户读取数据文件的请求、定位数据文件所在的节点、读取实际硬盘中数据文件的时间、不同节点间的数据传输时间以及一部分处理器的处理时间等。各种因素决定了分布式文件系统的用户体验。即分布式文件系统中数据的读取速率不能与本地文件系统中数据的读取速率相差太大，否则在本地文件系统中打开一个文件需要2秒，而在分布式文件系统中各种因素的影响下用时超过10秒，就会严重影响用户的使用体验。
- 数据的安全机制
由于数据分散在各个节点中，必须要采取冗余、备份、镜像等方式保证节点出现故障的情况下，能够进行数据的恢复，确保数据安全。
二、主流分布式文件系统介绍
目前主流的分布式文件系统有：MinIO、GFS、Ceph、Lustre、TFS、HDFS、MooseF、MogileFS、FastDFS、GlusterFS、GridFS、JuiceFS、ChubaoFS、Ozone、PolarFS等。
1. GFS（Google File System）
Google公司为了满足本公司需求而开发的基于Linux的专有分布式文件系统。尽管Google公布了该系统的一些技术细节，但Google并没有将该系统的软件部分作为开源软件发布。
2. HDFS（Hadoop Distributed File System）
Hadoop 实现了一个分布式文件系统，简称HDFS。Hadoop是Apache Lucene创始人Doug Cutting开发的使用广泛的文本搜索库。它起源于Apache Nutch，后者是一个开源的网络搜索引擎，本身也是Luene项目的一部分。Aapche Hadoop架构是MapReduce算法的一种开源应用，是Google开创其帝国的重要基石。
3. Ceph
加州大学圣克鲁兹分校的Sage Weil攻读博士时开发的分布式文件系统。并使用Ceph完成了他的论文。
由于 ceph 使用 btrfs 文件系统， 而btrfs 文件系统需要 Linux 2.6.34 以上的内核才支持。ceph目前还不足够成熟，它基于的btrfs本身也不成熟，它的官方网站上也明确指出不要把ceph用在生产环境中。
4. Lustre
Lustre是一个大规模的、安全可靠的，具备高可用性的集群文件系统，它是由SUN公司开发和维护的。该项目主要的目的就是开发下一代的集群文件系统，可以支持超过10000个节点，数以PB的数据量存储系统。目前Lustre已经运用在一些领域，例如HP SFS产品等。
5. MooseFS
支持FUSE，相对比较轻量级，对master服务器有单点依赖，用perl编写，性能相对较差，国内用的人比较多。
6. MogileFS
由memcahed的开发公司danga一款perl开发的产品，目前国内使用mogielFS的有图片托管网站yupoo等。MogileFS是一套高效的文件自动备份组件，由Six Apart开发，广泛应用在包括LiveJournal等web2.0站点上。
7. FastDFS
是一款类似Google FS的开源分布式文件系统，是纯C语言开发的。FastDFS是一个开源的轻量级分布式文件系统，它对文件进行管理，功能包括：文件存储、文件同步、文件访问（文件上传、文件下载）等，解决了大容量存储和负载均衡的问题。特别适合以文件为载体的在线服务，如相册网站、视频网站等等。
8. GlusterFS
开源分布式横向扩展文件系统，可以根据存储需求快速调配存储，内含丰富的自动故障转移功能，且摈弃集中元数据服务器的思想。适用于数据密集型任务的可扩展网络文件系统，具有可扩展性、高性能、高可用性等特点。gluster于2011年10月7日被red hat收购。
9. TFS（Taobao File System）
TFS是一个高可扩展、高可用、高性能、面向互联网服务的分布式文件系统，主要针对海量的非结构化数据，它构筑在普通的Linux机器 集群上，可为外部提供高可靠和高并发的存储访问。TFS为淘宝提供海量小文件存储，通常文件大小不超过1M，满足了淘宝对小文件存储的需求，被广泛地应用 在淘宝各项应用中。它采用了HA架构和平滑扩容，保证了整个文件系统的可用性和扩展性。同时扁平化的数据组织结构，可将文件名映射到文件的物理地址，简化了文件的访问流程，一定程度上为TFS提供了良好的读写性能。
10. GridFS
MongoDB是一种知名的NoSql数据库，GridFS是MongoDB的一个内置功能，它提供一组文件操作的API以利用MongoDB存储文件，GridFS的基本原理是将文件保存在两个Collection中，一个保存文件索引，一个保存文件内容，文件内容按一定大小分成若干块，每一块存在一个Document中，这种方法不仅提供了文件存储，还提供了对文件相关的一些附加属性（比如MD5值，文件名等等）的存储。文件在GridFS中会按4MB为单位进行分块存储。
11.MinIO
MinIO 是GlusterFS创始人之一Anand Babu Periasamy发布的开源项目，基于Apache V2 license 100% 开放源代码。MinIO采用Golang实现，客户端支持Java、Python、Javacript、Golang语言等。在中国，阿里巴巴、腾讯、百度、中国联通、华为、中国移动等等9000多家企业也都在使用MinIO产品。
设计的主要目标是作为私有云对象存储的标准方案。非常适合于存储大容量非结构化的数据，例如图片、视频、日志文件、备份数据、容器和虚拟机镜像等，而一个对象文件可以是任意大小，从几kb到最大5T。
12.JuiceFS
JuiceFS 是一款面向云原生设计的高性能分布式文件系统，在 Apache 2.0 开源协议下发布。提供完备的 POSIX 兼容性，可将几乎所有对象存储接入本地作为海量本地磁盘使用，亦可同时在跨平台、跨地区的不同主机上挂载读写。
采用「数据」与「元数据」分离存储的架构，从而实现文件系统的分布式设计。文件数据本身会被切分保存在对象存储（例如 Amazon S3），而元数据则可以保存在 Redis、MySQL、TiKV、SQLite 等多种数据库中，可以根据场景与性能要求进行选择。
13.ChubaoFS
CFS 支持顺序和随机文件访问，对大文件和小文件都进行了优化存储，并针对不同的写入场景采用不同的复制协议，以提高复制性能。它采用元数据子系统，根据内存使用情况在不同的存储节点上存储和分发文件的元数据。
14.Ozone
是Apache Hadoop项目的子项目，是一个基于对象存储的分布式文件系统。其主要目标是提供一个高可用性、可扩展性和高性能的存储解决方案，支持大数据分析和处理应用。
不仅能存储数十亿个不同大小的对象，还支持在容器化环境中运行。提供了一个类似于 POSIX 的文件系统接口，以方便应用程序进行文件读写操作。
15.PolarFS
PolarFS 是一个具有超低延迟和高可用性的分布式文件系统，专为 POLARDB 数据库服务而设计。PolarFS 在用户空间中利用了轻量级网络堆栈和 I/O 堆栈，充分利用了 RDMA、NVMe 和 SPDK 等新兴技术。通过这种方式，PolarFS 的端到端延迟大大降低，实验表明 PolarFS 的写入延迟与 SSD 上本地文件系统的写入延迟非常接近。为了在保证 PolarFS 的副本一致性的同时最大限度地提高 I/O 吞吐量，我们开发了 ParallelRaft 协议