之前的文章,现在放出来,以供参阅。
一、fastdfs简介
- FastDFS是一个轻量级的开源分布式文件系统
- FastDFS主要解决了大容量的文件存储和高并发访问的问题,文件存取时实现了负载均衡
- FastDFS实现了软件方式的RAID,可以使用廉价的IDE硬盘进行存储
- 支持存储服务器在线扩容
- 支持相同内容的文件只保存一份,节约磁盘空间
- FastDFS只能通过Client API访问,不支持POSIX访问方式
- FastDFS特别适合大中型网站使用,用来存储资源文件(如:图片、文档、音频、视频等等)
使用场景:
特别适合以中小文件(建议范围: 4KB 到 500MB )为载体的在线服务,如相册网站、视频网站等等。
二、系统架构
FastDFS服务端有三个角色:跟踪服务器(tracker server)、存储服务器(storage server)和客户端(client)。
- tracker server: 跟踪服务器,主要做调度工作,起负载均衡的作用。 在内存中记录集群中所有存储组和存储服务器的状态信息,是客户端和数据服务器交互的枢纽。相比GFS中的master更为精简,不记录文件索引信息,占用的内存量很少。
- storage server: 存储服务器(又称:存储节点或数据服务器),文件和文件属性(meta data)都保存到存储服务器上。 Storage server直接利用OS的文件系统调用管理文件。
- client server: 客户端,作为业务请求的发起方,通过专有接口,使用TCP/IP协议与跟踪器服务器或存储节点进行数据交互。
- group:组,也可称为卷。同组内服务器上的文件是完全相同的
- 文件标识:包括两部分:组名和文件名(包含路径)
- meta data:文件相关属性,键值对(Key Value Pair)方式,如:width=1024,heigth=768
文件上传机制
- client询问tracker上传到的storage,不需要附加参数;
- tracker返回一台可用的storage;
- client直接和storage通讯完成文件上传。
下载机制:
- client询问tracker下载文件的storage,参数为文件标识(组名和文件名);
- tracker返回一台可用的storage;
- client直接和storage通讯完成文件下载。
同步机制:
- 同一组内的storage server之间是对等的,文件上传、删除等操作可以在任意一台storage server上进行;
- 文件同步只在同组内的storage server之间进行,采用push方式,即源服务器同步给目标服务器;
- 源头数据才需要同步,备份数据不需要再次同步,否则就构成环路了;
- 上述第二条规则有个例外,就是新增加一台storage server时,由已有的一台storage server将已有的所有数据(包括源头数据和备份数据)同步给该新增服务器。
远行目录结构:
tracker server 结构:
${base_path}
|__data
| |__storage_groups.dat:存储分组信息
| |__storage_servers.dat:存储服务器列表
|__logs
|__trackerd.log:tracker server日志文件
storage server结构:
${base_path}
|__data
| |__.data_init_flag:当前storage server初始化信息
| |__storage_stat.dat:当前storage server统计信息
| |__sync:存放数据同步相关文件
| | |__binlog.index:当前的binlog文件索引号
| | |__binlog.###:存放更新操作记录(日志)
| | |__${ip_addr}_${port}.mark:存放同步的完成情况
| |
| |__一级目录:256个存放数据文件的目录,如:00, 1F
| |__二级目录:256个存放数据文件的目录
|__logs
|__storaged.log:storage server日志文件
文件索引信息包括:组名,虚拟磁盘路径,数据两级目录,文件名。
其中:
- 组名: 文件上传后所在的存储组名称,在文件上传成功后有存储服务器返回,需要客户端自行保存。
- 虚拟磁盘路径: 存储服务器配置的虚拟路径,与磁盘选项store_path* 对应。
- 数据两级目录: 存储服务器在每个虚拟磁盘路径下创建的两级目录,用于存储数据文件。
- 文件名: 与文件上传时不同。是由存储服务器根据特定信息生成,文件名包含:源存储服务器IP地址、文件创建时间戳、文件大小、随机数和文件拓展名等信息。
设计特点:
1、通过组名tracker能够很快的定位到客户端需要访问的存储服务器组,并将选择合适的存储服务器提供客户端访问;
2、存储服务器根据“文件存储虚拟磁盘路径”和“数据文件两级目录”可以很快定位到文件所在目录,并根据文件名找到客户端需要访问的文件。
三、安装与使用
环境准备:
1、Linux环境,使用centos环境.
2、pdfs v5.+的版本不依赖于lib event, 需要安装libfastcommon.同时需要注意各个版本安装的时候匹配关系。不匹配的时候是有bug的。实例使用V5.08
软件下载:
1、代码仓库
https://github.com/happyfish100/fastdfs.git
https://github.com/happyfish100/libfastcommon.git
https://github.com/happyfish100/fastdfs-nginx-module.git
安装:
新系统:
yum -y install wget vim git texinfo patch make cmake gcc gcc-c++ gcc-g77 flex bison file libtool libtool-libs autoconf kernel-devel libjpeg libjpeg-devel libpng libpng-devel libpng10 libpng10-devel gd gd-devel freetype freetype-devel libxml2 libxml2-devel zlib zlib-devel glib2 glib2-devel bzip2 bzip2-devel libevent libevent-devel ncurses ncurses-devel curl curl-devel e2fsprogs e2fsprogs-devel krb5 krb5-devel libidn libidn-devel openssl openssl-devel vim-minimal nano fonts-chinese gettext gettext-devel ncurses-devel gmp-devel pspell-devel unzip libcap diffutils pcre pcre-devel
安装libfastcommon
git clone https://github.com/happyfish100/libfastcommon.git
cd libfastcommon
sh make.sh && sh make.sh install
安装fastdfs
git clone https://github.com/happyfish100/fastdfs.git
cd fastdfs
sh make.sh && sh make.sh install
安装nginx[已有可免安装]
wget http://nginx.org/download/nginx-1.8.0.tar.gz
tar zxvf nginx-1.8.0.tar.gz
git clone https://github.com/happyfish100/fastdfs-nginx-module.git
cd nginx-1.8.0
./configure--prefix=/usr/local/nginx--add-module=/root/fastdfs-nginx-module/src
make&&make install
cd /usr/local/bin
ln-s/usr/local/nginx/sbin/nginx .
nginx-t
配置:
tracker.conf配置:
cd /etc/fdfs
cp tracker.conf.sample tracker.conf
#cp /home/centos/fastDFS/fdfs-5.08/fastdfs/conf/http.conf .
#cp /home/centos/fastDFS/fdfs-5.08/fastdfs/conf/mime.types .
sed -i 's:base_path=.*:base_path=/home/lijianli/fastdfs/masterdata/tracker:g' tracker.conf
sed -i 's:http.server_port=.*:http.server_port=80:g' tracker.conf
storage.conf配置:
cd /etc/fdfs
cp storage.conf.sample storage.conf
#cp /home/centos/fastDFS/fdfs-5.08/fastdfs/conf/http.conf .
#cp /home/centos/fastDFS/fdfs-5.08/fastdfs/conf/mime.types .
sed -i 's:base_path=.*:base_path=/home/lijianli/fastdfs/masterdata/storage:g' storage.conf
sed -i 's:store_path0=.*:store_path0=/home/lijianli/fastdfs/masterdata/storage:g' storage.conf
sed -i 's/tracker_server=.*/tracker_server=10.60.81.188:22122/g' storage.conf
sed -i 's:http.server_port=.*:http.server_port=80:g' storage.conf
client.conf配置:
cd /etc/fdfs
cp client.conf.sample client.conf
sed -i ’s:base_path=.*:base_path=/home/lijianli/fastdfs/masterdata/client:g’ client.conf
sed -i ’s/tracker_server=.*/tarcker_server=10.60.81.188:22122/g’ client.conf
nginx配置
upstream fdfs_group1{
server 10.60.81.188:80;
}
server{
location group1/M00{
proxy_pass http://fdfs_group1;
}
}
常用命令:
fdfs_delete_file: 删除文件,/opt/apps/fdfs/bin/fdfs_delete_file
fdfs_download_file: 下载文件,/opt/apps/fdfs/bin/fdfs_download_file
fdfs_file_info: 获取某个文件信息,/opt/apps/fdfs/bin/fdfs_file_info
fdfs_monitor: 监控,查看storage server的状态/opt/apps/fdfs/bin/fdfs_monitor
fdfs_storaged: 用来启动或是重启或是关闭server,/opt/apps/fdfs/bin/fdfs_storaged
fdfs_trackerd: 用来启动或是重启或是关闭server,/opt/apps/fdfs/bin/fdfs_trackerd
fdfs_upload_file: 上传文件,/opt/apps/fdfs/bin/fdfs_upload_file
2、监控问题。
Java:
https://github.com/canmind/fastdfs-zyc/tree/master/fastdfs-zyc/main/webapp
3、开发集成问题。
四、社区&使用商
阿里,UC网盘,优酷,搜狐等。
五、总结
- FastDFS只有三个角色;且跟踪服务器和存储服务器均不存在单点。
- 跟踪服务器被动的接收存储服务器汇报,对存储服务器进行分组管理;并为客户端选定适用的存储服务器。同一存储服务器可以同时向多台跟踪服务器汇报状态信息。
- 存储服务器组内所有存储服务器是对等关系,存储的数据一一对应且相同;所有的存储服务器均是同时在线服务,极大的提高的服务器的使用率,分担了数据访问压力。
六、参考资料
1、https://github.com/happyfish100/fastdfs 源码
2、http://bbs.chinaunix.net/forum-240-1.html 作者维护的论坛
3、http://tech.uc.cn/?p=221 UC团队使用维护文档
4、https://code.google.com/archive/p/fastdfs/ 作者维护的Google code上的项目。