分布式小文件系统fastdfs与weedfs的对比

https://www.tuicool.com/articles/uaiimu

最近拿一台双核1G的kvm vps搭建了一个图片的服务器，前面用百度云加速扛着，有了个专业图片存储及CDN的样子。每天还是有50W左右的PV，流量在30G左右。总结一下最近接触过的两个分布式小文件系统weedfs和fastdfs。

fastdfs的详细介绍看这里=》 传送门

weedfs官方地址= >传送门

在两个系统中都有一个负责管理存储节点或者存储卷的服务，weedfs中叫master,而fastdfs中叫做tracker。下面是在文档中对各自的master的解释

 

 

 

 

 

 

PHP

 

FastDFS服务端有两个角色：跟踪器（tracker）和存储节点（storage）。跟踪器主要做调度工作，在访问上起负载均衡的作用。


Weed-FS的master server选择管理数据卷（data volumes）而不是数据块，每个数据卷大小是32GB，能够保存大量的文件（ 小文件 ），每个存储节点能够拥有很多个数据卷，master节点只需要保存这些卷的元数据就可以了，并且这些数据量很少，并且大部分情况下是很少会变化的。 
所有的卷都由master服务器来管理，master服务器包含了卷id和卷服务器的mapping，这些信息基本不变，可以很好的缓存起来。

 

FastDFS 服务端有两个角色：跟踪器（ tracker ）和存储节点（ storage ）。跟踪器主要做调度工作，在访问上起负载均衡的作用。 Weed - FS 的 master server 选择管理数据卷（ data volumes ）而不是数据块，每个数据卷大小是 32GB ，能够保存大量的文件（ 小文件 ），每个存储节点能够拥有很多个数据卷， master节点只需要保存这些卷的元数据就可以了，并且这些数据量很少，并且大部分情况下是很少会变化的。 所有的卷都由 master 服务器来管理， master 服务器包含了卷 id 和卷服务器的 mapping ，这些信息基本不变，可以很好的缓存起来。

根据上面的解释就可以知道，master在上传和下载文件的过程中都承载着定位文件需要上传或者下载的具体的卷。

在具体存储小文件的时候，weedfs是通过将多个小文件的二级制存储到一个大文件中，然后通过索引进行具体的位置的定位。而fastdfs是通过文件夹散列的方式将文件直接存储在硬盘上面。但从这里就可以看出来，在海量小文件的情况下，weedfs产生的文件的元数据是很少的，因他他至于每个数据卷的元数据。而weedfs会产生大量的元数据，因为他依赖的是操作系统的文件管理系统，对每一个文件的定位以及验证都是通过元数据来进行的。

从上面的对比就可以看出来，在海量小文件的情况下肯定是weedfs的性能更高，因为他的文件元数据是相当少的，所以这部分经常被访问的元数据能够被操作系统或者内存直接缓存住，这样就减少了对磁盘的操作，而磁盘的操作只需要进行一次，就是在进行文件读取的时候。而fastdfs回产生海量的文件的元数据，大到一定程序了操作系统的缓存或者内存就无法进行全部存储了，这样就造成了在硬盘上进行随机读写来查找文件了，两个效率和速度以及对系统和硬盘造成的负载显而易见了。

总结：小文件存储不同于大文件，大文件的性能和时间消耗，主要在传输的带宽等限制上。而小文件主要在于系统本身的读取速度上。所以综合来说，个人觉得weedfs比fastdfs更先进，更能承受数量更大的小文件