分布式文件系统FastDFS

当前比较流行的分布式文件系统包括:Lustre、Hadoop、MogileFS、FreeNAS、FastDFS、NFS、OpenAFS、MooseFS、pNFS、以及GoogleFS。

对比:

GlusterFS:主要应用在集群系统中,具有很好的可扩展性。软件的结构设计良好,易于扩展和配置,通过各个模块的灵活搭配以得到针对性的解决方案。
GoogleFS:性能十分好,可扩展性强,可靠性强。用于大型的、分布式的、对大数据进行访问的应用。运用在廉价的硬件上。
FastDFS:一个开源的轻量级分布式文件系统,它对文件进行管理,功能包括:文件存储、文件同步、文件访问(文件上传、文件下载)等,解决了大容量存储和负载均衡的问题。
TFS:TFS(Taobao FileSystem)是一个高可扩展、高可用、高性能、面向互联网服务的分布式文件系统,主要针对海量的非结构化数据,它构筑在普通的Linux机器集群上,可为外部提供高可靠和高并发的存储访问。
综上所述,以上四种文件系统均可用于集群分布式系统,都具有良好的性能以及可扩展性。GlusterFS存储文件是以元数据的存储方式存储的,方便文件的移植和拷贝,并且对硬件和网络要求较高。GoogleFS是针对应用级别的文件系统,对硬件和网络的要求一般,能在廉价的硬件上有良好的可靠性。FastDFS主要是针对互联网中的小文件系统,没有文件索引数据库,整体性能很高。TFS是淘宝使用的文件系统,用于图片存储,在小文件存储上比较有优势,但随着写的增加,读文件的效率会降低。
FastDFS的社区活跃度较高,我这边考虑优先选取FastDFS
源码地址: https://github.com/happyfish100

架构介绍

分布式文件系统FastDFS_第1张图片

安装使用常用命令:

重启tracker    /usr/bin/fdfs_trackerd  /etc/fdfs/tracker.conf  restart
重启storage   /usr/bin/fdfs_storaged  /etc/fdfs/storage.conf  restart
查看系统启动状态   /usr/bin/fdfs_monitor /etc/fdfs/storage.conf
重启nginx     /usr/local/nginx/sbin/nginx -s reload
启动nginx  /usr/local/nginx /sbin/nginx  -c /usr/local/nginx /conf/nginx.conf  

安装配置步骤:http://www.open-open.com/lib/view/open1435468300700.html  以验证基本无措,需要注意两个命令如下参考:
./configure  --prefix=/usr/local/nginx  --add-module=/myself_settings/fastdfs-nginx-module/fastdfs-nginx-module/src
 ln  -s  /opt/fastdfs_storage_data/data  /opt/fastdfs_storage_data/data/M00

配置nginx的时候 注意location的位置




你可能感兴趣的:(高性能和高可用,框架技术)