分布式文件系统之FastDFS文件服务器原理及搭建

针对分布式开发，一个分布式文件系统就显得至关重要。今天主要讲讲FastDFS的搭建与实现。那么，什么是FastDFS呢？

FastDFS 是一款开源的轻量级分布式文件系统。它对文件进行管理，功能包括：文件存储、文件同步、文件访问（上传、下载）等，解决了大容量存储和负载均衡的问题。它也是为互联网量身定制的，它充分考虑了冗余备份、负载均衡、线性扩容等机制，并注重高可用、高性能等指标，使用FastDFS 很容易搭建一套高性能的文件服务器集群提供文件上传、下载等服务。

FastDFS 架构包括 Tracker server 和 Storage server。客户端请求 Tracker server 进行文 件上传、下载，通过 Tracker server 的调度最终由 Storage server 完成文件上传和下载。

Tracker server作用是负载均衡和调度，通过 Tracker server 在文件上传时可根据一些 策略找到 Storage server 提供文件上传服务。可以将 tracker 称为追踪服务器或调度服务器。

Storage server作用是文件存储，客户端上传的文件最终存储在 Storage 服务上， Storage server没有实现自己的文件系统而是利用操作系统 的文件系统来管理文件。可以将storage 称为存储服务器。

Tracker主要角色是实现 集群管理，并收集Storage的集群状态。 Storage在实际保存文件是分多个Storage组（如：group1,group2,group3.....），每个组保存的文件是不同的。

那么，文件是如何上传和下载的呢？先看看上传的原理图解：

客户端发起上传文件请求后，先通过Tracker获取可用的Storage 存储组，并告诉客户端，借着客户端直接请求对应的Storage上传文件，文件在Storage server中成file_id并写入磁盘，然后返回文件存储路径信息给客户端，客户端再根据具体的需求，将文件路劲存入数据库或直接显示在UI上。

下载图解：

FastDFS单点文件服务搭建(Linux系统)

需要准备的安装包文件 (当然你也可以通过wget实时下载)

创建文件目录并上传libfastcommon-master.zip、FastDFS_v5.05.tar.gz、fastdfs-nginx-module_v1.16.tar.gz包到创建的fastDfs目录下。

mkdir -p /usr/local/fastDfs

解压压缩包： unzip libfastcommon-master.zip;
tar -zxvf  FastDFS_v5.05.tar.gz
tar -zxvf fastdfs-nginx-module_v1.16.tar.gz

为方便目录查看，可修改libfastcommon-master目录名为 libfastcommon
mv libfastcommon-master libfastcommon

执行ls，当前fastDfs目录下如图所示：

1）安装libfastcommon

依次执行命令：
cd /usr/local/fastDfs/libfastcommon/ ./make.sh
./make.sh install 此时libfastcommon就已经安装成功了,但是libfastcommon.so 默认安装到了 /usr/lib64/ libfastcommon.so， 但是FastDFS主程序设置的lib目录是/usr/local/lib,所以此处需要重新设置软链接，执行以下命令
ln -s /usr/lib64/libfastcommon.so /usr/local/lib/libfastcommon.so
ln -s /usr/lib64/libfastcommon.so /usr/lib/libfastcommon.so 
ln -s /usr/lib64/libfdfsclient.so /usr/local/lib/libfdfsclient.so
ln -s /usr/lib64/libfdfsclient.so /usr/lib/libfdfsclient.so

2）安装fastdfs

依次执行命令：
cd /usr/local/fastDfs/FastDFS./make.sh
./make.sh install

3）创建存储目录

依次执行命令： mkdir -p /data/fdfs/tracker
mkdir -p /data/fdfs/storage
mkdir -p /data/fdfs/client

4）配置tracker

依次执行：
cd /etc/fdfs
cp  tracker.conf.sample tracker.conf
编辑tracker配置
vim tracker.conf 编辑内容：
base_path=/data/fdfs/tracker http.server_port=80

5）配置Storage

依次执行：
cd /etc/fdfs
cp storage.conf.sample storage.conf
编辑Storage配置
vim storage.conf
修改内容：
group_name=group1
base_path=/data/fdfs/storage
store_path0=/data/fdfs/storage
tracker_server=192.168.99.10:22122 #指定tracker服务器跟踪地址

6）配置Client

依次执行：
cd /etc/fdfs
cp client.conf.sample client.conf
编辑Client配置
vim client.conf
修改内容：
base_path=/data/fdfs/client
tracker_service=192.168.99.10:22122 
http.tracker_server_port=880 #指定文件访问端口(如:http://198.168.99.10:880/**)

此时，Tracker和Storage就安装完成了。

7) 启动Tracker和Storage

依次执行：
/usr/bin/fdfs_trackerd /etc/fdfs/tracker.conf  #启动tracker
/usr/bin/fdfs_storaged /etc/fdfs/storage.conf  #启动storage
查看tracker和storage是否启动
netstat -tlnp | grep tracker
netstat -tlnp | grep storage

8) 安装fastdfs-nginx-module

前面已经解压好了，此处只需修改配置
cd /usr/local/fastDfs/fastdfs-nginx-module/src
vim config
修改内容：
CORE_INCS="$CORE_INCS /usr/include/fastdfs /usr/include/fastcommon/"

9) 安装Nginx

上传nginx-1.6.2.tar.gz到/usr/local,然后解压
tar -zxvf nginx-1.6.2.tar.gz
mv nginx-1.6.2 nginx
cd /usr/local//nginx
nginx ./configure --add-module=/usr/local/fastDfs/fastdfs-nginx-module/src
然后make，make install

10) 配置  fastdfs-nginx-module 和nginx 关联信息

cp /usr/local/fastDfs/fastdfs-nginx-module/src/mod_fastdfs.conf /etc/fdfs/
vim /etc/fdfs/mod_fastdfs.conf
编辑内容:
racker_server=127.0.0.1:22122 #此处很重要，我用的是本地
group_name=group1
url_have_group_name = true
store_path0=/data/fdfs/storage

11)  复制 FastDFS 的部分配置文件到/etc/fdfs

cd /usr/local/fastDfs/FastDFS/conf  

cp http.conf mime.types /etc/fdfs/

12) 配置Nginx

cd /usr/local/fastDfs/FastDFS/conf  
cp http.conf mime.types /etc/fdfs/
server{
    listen  880; //此处端口同client.conf中的http.tracker_server_port
    server_name localhost;
    
    location /group1/M00/ {
        root /data/fdfs/storage/;
        ngx_fastdfs_module;
    }

}

大功告成，整个FastDFS服务安装完成，现在来测试一把吧！

用postMan通过事先已经写好的接口上传一张图片

访问上传成功返回的图片访问地址如下：