fastDFS精讲

在一般大中型的企业对文件的存储需求多种多样，特别是在容器化技术非常流行的时代下，依然有很多采用fastDFS，Distributed file system, DFS，又叫做网络文件系统，Network File System。一种允许文件通过网络在多台主机上分享的文件系统，可让多机器上的多用户分享文件和存储空间。分布式文件系统是被设计用在局域网，而分布式数据存储，则是泛指应用分布式运算技术的文件和数据库等提供数据存储服务的系统。

1.发展历史

随着业务的发展，数据的存储方式、数据的读取速率、数据的安全机制要求也越来越高。在此期间也大致分为三个发展阶段：

• 网络文件系统(1980年)
• 共享SAN文件系统(1990年)

• 面向对象的并行文件系统(2000年)

2.概述

FastDFS是一个开源的轻量级分布式文件系统，它对文件进行管理，功能包括：文件存储、文件同步、文件访问（文件上传、文件下载）等，解决了大容量存储和负载均衡的问题。对以文件为载体的在线服务，如相册网站、视频网站等等。

FastDFS为互联网量身定制，充分考虑了冗余备份、负载均衡、线性扩容等机制，并注重高可用、高性能等指标，使用FastDFS很容易搭建一套高性能的文件服务器集群提供文件上传、下载等服务。

注意：特别适合中小文件（建议范围：4KB < file_size <500MB）

3.系统架构

FastDFS由跟踪服务器(Tracker Server)、存储服务器(Storage Server)和客户端(Client)构成。

3.1 Tracker Server

跟踪服务器主要做调度工作，起到均衡的作用；负责管理所有的 storage server和 group，每个 storage 在启动后会连接 Tracker，告知自己所属 group 等信息，并保持周期性心跳。tracker根据storage的心跳信息，建立group==>[storage serverlist]的映射表。

Tracker需要管理的元信息很少，会全部存储在内存中；另外tracker上的元信息都是由storage汇报的信息生成的，本身不需要持久化任何数据，这样使得tracker非常容易扩展，直接增加tracker机器即可扩展为tracker cluster来服务，cluster里每个tracker之间是完全对等的，所有的tracker都接受stroage的心跳信息，生成元数据信息来提供读写服务。

3.2 Storage Server

存储服务器主要提供容量和备份服务(存储、同步和提供存取接口)；以 group 为单位，每个 group 内可以有多台 storage server，数据互为备份。以group为单位组织存储能方便的进行应用隔离、负载均衡、副本数定制（group内storage server数量即为该group的副本数），比如将不同应用数据存到不同的group就能隔离应用数据，同时还可根据应用的访问特性来将应用分配到不同的group来做负载均衡；缺点是group的容量受单机存储容量的限制，同时当group内有机器坏掉时，数据恢复只能依赖group内地其他机器，使得恢复时间会很长。

group内每个storage的存储依赖于本地文件系统，storage可配置多个数据存储目录，比如有10块磁盘，分别挂载在/data/disk1-/data/disk10，则可将这10个目录都配置为storage的数据存储目录。storage接受到写文件请求时，会根据配置好的规则选择其中一个存储目录来存储文件。为了避免单个目录下的文件数太多，在storage第一次启动时，会在每个数据存储目录里创建2级子目录，每级256个，总共65536个文件，新写的文件会以hash的方式被路由到其中某个子目录下，然后将文件数据作为本地文件存储到该目录中。

3.3 Client

主要是上传下载数据的服务器，也就是我们自己的项目所部署在的服务器。每个客户端服务器都需要安装Nginx

3.4 存储策略

为了支持大容量，存储节点（服务器）采用了分卷（或分组）的组织方式。存储系统由一个或多个卷组成，卷与卷之间的文件是相互独立的，所有卷的文件容量累加就是整个存储系统中的文件容量。一个卷可以由一台或多台存储服务器组成，一个卷下的存储服务器中的文件都是相同的，卷中的多台存储服务器起到了冗余备份和负载均衡的作用。

在卷中增加服务器时，同步已有的文件由系统自动完成，同步完成后，系统自动将新增服务器切换到线上提供服务。当存储空间不足或即将耗尽时，可以动态添加卷。只需要增加一台或多台服务器，并将它们配置为一个新的卷，这样就扩大了存储系统的容量。

FastDFS中的文件标识分为两个部分：卷名和文件名，二者缺一不可。

3.5 上传过程

FastDFS向使用者提供基本文件访问接口，比如upload、download、append、delete等，以客户端库的方式提供给用户使用。

我们知道Storage Server会定期的向Tracker Server发送自己的存储信息。当Tracker Server Cluster中的Tracker Server不止一个时，各个Tracker之间的关系是对等的，所以客户端上传时可以选择任意一个Tracker。

当Tracker收到客户端上传文件的请求时，会为该文件分配一个可以存储文件的group，当选定了group后就要决定给客户端分配group中的哪一个storage server。当分配好storage server后，客户端向storage发送写文件请求，storage将会为文件分配一个数据存储目录。然后为文件分配一个fileid，最后根据以上的信息生成文件名存储文件。文件名的格式如下：

3.6 文件下载

客户端uploadfile成功后，会拿到一个storage生成的文件名，接下来客户端根据这个文件名即可访问到该文件。

跟upload file一样，在downloadfile时客户端可以选择任意tracker server。client发送download请求给某个tracker，必须带上文件名信息，tracker从文件名中解析出文件的group、大小、创建时间等信息，然后为该请求选择一个storage用来服务读请求。

3.7 文件同步

写文件时客户端将文件写至group内一个storage server即认为写文件成功，storage server写完文件后，会由后台线程将文件同步至同group内其他的storage server。每个storage写文件后，同时会写一份binlog，binlog里不包含文件数据，只包含文件名等元信息，这份binlog用于后台同步，storage会记录向group内其他storage同步的进度，以便重启后能接上次的进度继续同步；进度以时间戳的方式进行记录，所以最好能保证集群内所有server的时钟保持同步。storage的同步进度会作为元数据的一部分汇报到tracker上，tracke在选择读storage的时候会以同步进度作为参考。

4.安装

按照也特别简单，按照官方的介绍一步步来

#1.安装之前首先确认linux上有gcc包
yum install make cmake gcc gcc-c++

#2.安装libfastcommon
wget https://github.com/happyfish100/libfastcommon/archive/V1.0.39.tar.gz -SO libfastcommon.tar.gz
tar -xf xxx.tar.gz
cd libfastcommon-1.0.39
./make.sh
./make.sh install
#3.安装 fastdfs
wget https://github.com/happyfish100/fastdfs/archive/V5.11.tar.gz -SO fastdfs.tar.gz
tar -xf xxx.tar.gz
cd fastdfs-5.11
./make.sh
./make.sh install
#安装好后，程序是在/usr/bin目录下
which fdfs_trackerd
ls /etc/fdfs
#但是这些配置文件是不全的，而且都是模板，所以需要从fastdfs包中拷贝过来，并修改配置
sudo cp ~/fdfs-package/fastdfs-5.11/conf/* /etc/fdfs

#4.修改一系列配置

#5.启动tracker和storage
fdfs_trackerd /etc/fdfs/tracker.conf start
fdfs_storaged /etc/fdfs/storage.conf start
# 查看日志
tail -n10 ~/fdfs/logs/trackerd.log
tail -n10 ~/fdfs/logs/storaged.log
#测试上传
$ fdfs_test /etc/fdfs/client.conf upload ~/test.txt

#6.安装fastdfs-nginx-module
wget https://github.com/happyfish100/fastdfs-nginx-module/archive/V1.20.tar.gz -SO fastdfs-nginx-module.tar.gz
#当前系统已经有一个nginx在运行了,到官网下载对应版本的nginx源码，然后查看系统nginx的编译选项，用一模一样的编译选项外加fastdfs-nginx-module的源码，重新编译一个nginx程序
nginx -v
wget http://nginx.org/download/nginx-1.10.3.tar.gz
tar -xf xxx.tar.gz
#改名为nginx-src，然后进入
cd ~/nginx-src
nginx -V
#nginx version: nginx/1.10.3
#built with OpenSSL 1.0.2g  1 Mar 2019
#TLS SNI support enabled
#configure arguments: --with-cc-opt='-g -O2 -fPIE -fstack-protector-strong -Wformat -Werror=format-security -Wdate-time -D_FORTIFY_SOURCE=2' --with-ld-opt='-Wl,-Bsymbolic-functions -fPIE -pie -Wl,-z,relro -Wl,-z,now' --prefix=/usr/share/nginx --conf-path=/etc/nginx/nginx.conf --http-log-path=/var/log/nginx/access.log --error-log-path=/var/log/nginx/error.log --lock-path=/var/lock/nginx.lock --pid-path=/run/nginx.pid --http-client-body-temp-path=/var/lib/nginx/body --http-fastcgi-temp-path=/var/lib/nginx/fastcgi --http-proxy-temp-path=/var/lib/nginx/proxy --http-scgi-temp-path=/var/lib/nginx/scgi --http-uwsgi-temp-path=/var/lib/nginx/uwsgi --with-debug --with-pcre-jit --with-ipv6 --with-http_ssl_module --with-http_stub_status_module --with-http_realip_module --with-http_auth_request_module --with-http_addition_module --with-http_dav_module --with-http_geoip_module --with-http_gunzip_module --with-http_gzip_static_module --with-http_image_filter_module --with-http_v2_module --with-http_sub_module --with-http_xslt_module --with-stream --with-stream_ssl_module --with-mail --with-mail_ssl_module --with-threads
#在nginx-src目录下创建一个custom_configure.sh文件，把复制的内容拷贝进去，并在最后加上fastdfs-nginx-module的源码
cat custom_configure.sh
./configure \
--with-cc-opt='-g -O2 -fPIE -fstack-protector-strong -Wformat -Werror=format-security -Wdate-time -D_FORTIFY_SOURCE=2' \
--with-ld-opt='-Wl,-Bsymbolic-functions -fPIE -pie -Wl,-z,relro -Wl,-z,now' \
--prefix=/usr/share/nginx \
--conf-path=/etc/nginx/nginx.conf \
--http-log-path=/var/log/nginx/access.log \
--error-log-path=/var/log/nginx/error.log \
--lock-path=/var/lock/nginx.lock \
--pid-path=/run/nginx.pid \
--http-client-body-temp-path=/var/lib/nginx/body \
--http-fastcgi-temp-path=/var/lib/nginx/fastcgi \
--http-proxy-temp-path=/var/lib/nginx/proxy \
--http-scgi-temp-path=/var/lib/nginx/scgi \
--http-uwsgi-temp-path=/var/lib/nginx/uwsgi \
--with-debug \
--with-pcre-jit \
--with-ipv6 \
--with-http_ssl_module \
--with-http_stub_status_module \
--with-http_realip_module \
--with-http_auth_request_module \
--with-http_addition_module \
--with-http_dav_module \
--with-http_geoip_module \
--with-http_gunzip_module \
--with-http_gzip_static_module \
--with-http_image_filter_module \
--with-http_v2_module \
--with-http_sub_module \
--with-http_xslt_module \
--with-stream \
--with-stream_ssl_module \
--with-mail \
--with-mail_ssl_module \
--with-threads \
--add-module=~/fdfs-package/fastdfs-nginx-module-1.20/src
# 执行编译
sudo ./custom_configure.sh
which nginx
sudo cp /usr/sbin/nginx /usr/sbin/nginx_org_bak
sudo cp /etc/nginx/nginx.conf /etc/nginx/nginx.conf.bak
#继续在nginx-src目录执行make和make install
$ sudo make

# 报错
Fatal error: can't create objs/addon/src/ngx_http_fastdfs_module.o: Permission denied
In file included from /home/xxxx/fdfs-package/fastdfs-nginx-module-1.20/src/common.c:26:0,
                 from /home/xxxx/fdfs-package/fastdfs-nginx-module-1.20/src/ngx_http_fastdfs_module.c:6:
/usr/include/fastdfs/fdfs_define.h:15:27: fatal error: common_define.h: No such file or directory

# 解决
# 修改fastdfs-nginx-module的src/config文件
cd /home/xxxx/fdfs-package/fastdfs-nginx-module-1.20/src
sudo vi config
# 修改一下两项：
ngx_module_incs="/usr/include/fastdfs /usr/include/fastcommon/"
CORE_INCS="$CORE_INCS /usr/include/fastdfs /usr/include/fastcommon/"

# 重新运行 nginx-src/custom_configure.sh
pwd
/home/xxxx/nginx-src
sudo ./custom_configure.sh
sudo make
sudo make install
# make install 会在/usr/share/nginx/sbin目录下生成一个名为nginx的可执行文件
sudo ls /usr/share/nginx
html  sbin
#关闭系统原有的nginx，并备份好系统原来的nginx文件
nginx -s stop
sudo cp mv /usr/sbin/nginx /usr/sbin/nginx_bak
#配置nginx，加入路由规则，映射到fastdfs的数据目录
# config for fastdfs-nginx-module
server {
    listen 8777;
    location /M00 {
        root ~/fdfs/data;
        ngx_fastdfs_module;
    }
}
#开放端口
sudo iptables -A IN_public_allow -p tcp --dport 8777 -j ACCEPT
sudo iptables -L -n
#访问：http://191.8.1.203:8777/M00/00/00/vwgCy1xvnKmAIDXDAAEM3XOobI4945_big.jpg

配置过程中有几点要注意：

sudo vi /etc/fdfs/tracker.conf
# the tracker server port
port=22122
# the base path to store data and log files
base_path=/home/fdfs
# HTTP port on this tracker server
http.server_port=9270

sudo vi /etc/fdfs/storage.conf
# storage所属的组
group_name=group1
# the storage server port
port=23000
# the base path to store data and log files
base_path=/home/fdfs
# store_path#, based 0, if store_path0 not exists, it's value is base_path
# the paths must be exist
store_path0=/home/fdfs
#store_path1=/home/fdfs2
# tracker服务器，虽然是同一台机器上，但是不能写127.0.0.1。这项配置可以出现一次或多次
tracker_server=191.8.1.77:22122
# the port of the web server on this storage server
http.server_port=8888

sudo vi /etc/fdfs/client.conf
# the base path to store log files
base_path=/home/fdfs/client
# tracker_server can ocur more than once, and tracker_server format is
#  "host:port", host can be hostname or ip address
tracker_server=191.8.1.77:22122
#HTTP settings
http.tracker_server_port=9270

sudo vi /etc/fdfs/mod_fastdfs.conf
# the base path to store log files
base_path=/tmp
# FastDFS tracker_server can ocur more than once, and tracker_server format is
#  "host:port", host can be hostname or ip address
# valid only when load_fdfs_parameters_from_tracker is true
tracker_server=191.8.1.77:22122
# the port of the local storage server
# the default value is 23000
storage_server_port=23000
# the group name of the local storage server
group_name=group1
# store_path#, based 0, if store_path0 not exists, it's value is base_path
# the paths must be exist
# must same as storage.conf
store_path0=/home/fdfs
#store_path1=/home/fdfs2

• 确保配置中用到的目录已经创建了。比如~/fdfs/client、~/fdfs/data、~/fdfs/logs

• 确保各种配置文件之间引用的端口一直。比如：

  • mod_fastdfs.conf文件中tracker_server的端口应该跟tracker.conf中port一致；
  • mod_fastdfs.conf文件中storage_server_port的端口应该跟跟storage.conf中port一致；

• 其他配置或文件虽然不用修改，但是fastdfs-nginx-module模块会用到：

  • anti-steal.jpg
  • http.conf
  • mime.types

5. FAQ

作者收集反馈

最后，fastDFS的确是很古老的开源软件，但以高性能著称，很多优秀设计理念值得我们学习，对很多人而言可能不会有机会自己造一个这样的轮子，可万一呢