使用FastDFS搭建分布式文件系统

一、简介和应用场景

1.1、简介

FastDFS是一款使用纯C语言实现的应用级别的分布式文件存储服务

1.2、架构

FastDFS系统由client(文件上传下载客户端)、tracker(协调服务器)、storage(存储服务器)三部分组成。
tracker和storage可以进行集群部署，多个tracker之间并无联系，所以tracker彼此间并不存在同步，仅仅是用做容灾，防止一台tracker宕机后无法继续提供存储服务。
storage服务启动后会向配置的tracker server注册自己，向其报告自己的状态信息，包括磁盘剩余空间、文件同步状况、文件上传下载次数等统计信息，这使得tracker可以协调多个storage共同工作。不同组的Storage server之间不会相互通信，同组内的Storage server之间会相互连接进行文件同步。

同步方式

Storage server采用binlog文件记录文件上传、删除等更新操作。binlog中只记录文件名，不记录文件内容。
文件同步只在同组内的Storage server之间进行，采用push方式，即源头服务器同步给目标服务器。
 Storage server中由专门的线程根据binlog进行文件同步,Storage server对组内除自己以外的每台服务器都会启动一个线程来进行文件同步。
 文件同步采用增量同步方式，系统记录已同步的位置（binlog文件偏移量）到标识文件中。标识文件名格式：{dest storage IP}_{port}.mark，例如：192.168.1.1_23000.mark。

1.3、交互流程

上传：

   客户端通过API向 tracker  server发起请求，获取当前可用的storage server  地址（ 注意：由于多个tracker间并无关联，此处的负载应由客户端去处理。客户端应获取所有可用的tracker server，按照一定的均衡策略从中选取一个可用链接，若此链接在一段时间内都不可用，应将其暂时移除并重新获取，而且要在一定条件下将其重新加入可选列表）。
   客户端从tracker server中成功获取到可用的storage server地址，然后向此storage server发起上传文件的请求。
   storage server向客户端返回此文件的path。
   storage server向组内其他兄弟发起文件同步。

下载：下载一般有两种，图片和PDF等浏览器自身支持的文件类型，可通过nginx代理直接使用path访问。其他关联了业务的附件下载操作应通过应用服务器中转下载。

    单机情况下若ng和storage server在同一台服务器，可以通过文件path直接反向映射到本地磁盘文件。
    集群情况下需安装fastdfs-nginx-module插件，此插件可以自动寻址到上传文件的源storage server上，防止同步时间差导致请求其他storage server 获取不到此文件。

1.4 、缺点及应用场景

FastDFS以简单、易用作为其设计原则，但这无法避免的产生了一些问题：
数据安全性

1.上传文件到源服务器即成功，若此时源服务器宕机且处于同步时间差，那么此文件数据会丢失。
2.同步未对文件做正确性校验，这种同步方式仅适用单个集群点的局部内部网络，如果在公网上使用，肯定会出现损坏文件的情况，需要自行添加文件校验机制(篡改和硬件损坏，几率极低)。

大文件处理

 FastDFS没有对文件做分块存储，因此不太适合分布式计算场景。（不适合存储大文件）

综上所述，fastDFS适用于处理以小文件为载体、文件安全性不是太苛刻的在线存储服务，如相册、视频等。

二、安装及部署

fastdfs

所有服务安装方式都为源码编译安装，提供两种方式下载源码——github和sourceforge，github上有最新的发布版本。
github
sourceforge

nginx 缓存插件

ngx_cache_purge

2.1、环境依赖

操作系统为4台64位CentOS Linux release 7.5.1804

192.168.152.136 nginx tracker
192.168.152.139 tracker
192.168.152.134 storage2 ngx_fastdfs_module
192.168.152.135 storage1 ngx_fastdfs_module

依赖第三方工具:

zlib zlib-devel pcre pcre-devel gcc gcc-c++ openssl openssl-devel libevent libevent-devel perl unzip net-tools wget

2.2、整体架构

线上架构应为：用户——》keepalived(虚拟IP)——》负载nginx(2+)——》tracker负载nginx(2+)——》
storage(2+)，架构图如下

complete_fdfs.jpg

本次部署只为模拟，进行了简化,架构图如下

simple_fdfs.jpg

2.2、安装libfastcommon

解压并安装

tar -zxvf V1.0.7.tar.gz

cd libfastcommon-1.0.7

./make.sh

./make.sh isntall

软链接动态链接库到引用路径

ln -s /usr/lib64/libfastcommon.so /usr/local/lib/libfastcommon.so

ln -s /usr/lib64/libfastcommon.so /usr/lib/libfastcommon.so

ln -s /usr/lib64/libfdfsclient.so /usr/local/lib/libfdfsclient.so

ln -s /usr/lib64/libfdfsclient.so /usr/lib/libfdfsclient.so

2.3、安装FastDFS

解压并安装

tar -zxvf V5.05.tar.gz

cd fastdfs-5.05

./make.sh

./make.sh install

软连接到脚本到引用路径

ln -s /usr/bin/fdfs_trackerd  /usr/local/bin

ln -s /usr/bin/fdfs_storaged  /usr/local/bin

ln -s /usr/bin/stop.sh        /usr/local/bin

ln -s /usr/bin/restart.sh      /usr/local/bin

2.4、配置tracker和storage

192.168.152.135 192.168.152.134分别创建 tracker及storage目录

mkdir -p /home/fdfs/trackerd

mkdir -p /home/fdfs/storaged

配置tracker

  vi /etc/fdfs/tracker.conf

主要配置tracker的元数据和日志存储路径和均衡策略等

 #存储路径
  base_path=/home/fdfs/fdfs_trackerd
  #下载文件如何选择storage server
  #0表示轮询，1表示上传的源服务器（避免同步时间差）
  download_server=1

配置storage

  vi /etc/fdfs/storage.conf

#分组名称
group_name=group1
#数据及日志存储路径
base_path=/home/mandy/fdfs/fdfs_storaged
#数据存储路径，可以有多个（可以挂载多个磁盘）
store_path0=/home/fdfs/fdfs_storaged
#tracker server地址，多个写成列表形式
tracker_server=192.168.152.136:22122
tracker_server = 192.168.152.134:22122

配置完毕启动服务并验证

service fdfs_trackerd start
service fdfs_storaged start

查看服务是否已开启

netstat -unltp | grep fdfs

查看storage是否已经激活到tracker

/usr/bin/fdfs_monitor /etc/fdfs/storage.conf

storage sever状态

  # FDFS_STORAGE_STATUS_INIT      :初始化，尚未得到同步已有数据的源服务器

  # FDFS_STORAGE_STATUS_WAIT_SYNC :等待同步，已得到同步已有数据的源服务器

  # FDFS_STORAGE_STATUS_SYNCING   :同步中

  # FDFS_STORAGE_STATUS_DELETED   :已删除，该服务器从本组中摘除（注：本状态的功能尚未实现）

  # FDFS_STORAGE_STATUS_OFFLINE   :离线

  # FDFS_STORAGE_STATUS_ONLINE    :在线，尚不能提供服务

  # FDFS_STORAGE_STATUS_ACTIVE    :在线，可以提供服务

2.5、nginx配置

2.5.1、storage nginx配置

由于fastdfs在4.0.5之后的版本中将内置的http服务器移除，因此想通过http方式访问storage server,需要在每个storage上配置 nginx和fastdfs-nginx-module；

安装fastdfs-nginx-module

tar -zxf fastdfs-nginx-module-1.20.tar.gz
cd nginx-1.12.1
./configure --add-module=/home/download/fastdfs-nginx-module-master/src
make&&make install

安装有可能失败，如报如下错误 /usr/local/include/fastdfs/fdfs_define.h:15:27: 致命错误：common_define.h：没有那个文件或目录
解决方式

vim fastdfs-nginx-module-1.20/src/config

编辑
ngx_module_incs="/usr/include/fastdfs /usr/include/fastcommon/"
CORE_INCS="$CORE_INCS /usr/include/fastdfs /usr/include/fastcommon/"

./nginx -V 查看fastDFS模块是否已经添加成功

配置nginx.conf

ng配置灰常简单,如下:

   server {
        listen       80;
        server_name  lcoalhost;
        location /M00 {
            ngx_fastdfs_module;
         }

    }

从解压的fastdfs-nginx-module-1.20.tar.gz src下拷贝 mod_fastdfs.conf到/etc/fdfs/下并编辑,目前只针对单个group进行配置

#日志存储路径
base_path=/home/fdfs
#url中是否需要组名，若未分组，可以置为false
url_have_group_name = false
#tracker地址，多个写成列表形式
tracker_server=192.168.152.134:22122
tracker_server = 192.168.152.136:22122,

重启nginx即可.

2.5.2 负载nginx配置

安装nginx插件 ngx_cache_purge
tracker添加一台负载nginx(此处进行了简化，实际线上应多加一层代理)

  #user  nobody;
worker_processes  1;

#error_log  logs/error.log;
#error_log  logs/error.log  notice;
#error_log  logs/error.log  info;

#pid        logs/nginx.pid;


events {
    worker_connections  1024;
}


http {
    include       mime.types;
    default_type  application/octet-stream;

    #log_format  main  '$remote_addr - $remote_user [$time_local] "$request" '
    #                  '$status $body_bytes_sent "$http_referer" '
    #                  '"$http_user_agent" "$http_x_forwarded_for"';

    #access_log  logs/access.log  main;

    sendfile        on;
    #tcp_nopush     on;

    #keepalive_timeout  0;
    keepalive_timeout  65;

    #gzip  on;
     sendfile        on;
    tcp_nopush     on;

    #keepalive_timeout  0;
    keepalive_timeout  65;

    #gzip  on;
    
    server_names_hash_bucket_size 128;
    client_header_buffer_size 32k;
    large_client_header_buffers 4 32k;

    client_max_body_size 300m;

    proxy_redirect off;
    proxy_set_header Host $http_host;
    proxy_set_header X-Real-IP $remote_addr;
    proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;

    proxy_connect_timeout 90;
    proxy_send_timeout 90;
    proxy_read_timeout 90;

    proxy_buffer_size 16k;
    proxy_buffers 4 64k;
    proxy_busy_buffers_size 128k;
    proxy_temp_file_write_size 128k;
   
    proxy_cache_path /home/mandy/nginx/proxy_cache levels=1:2 
    keys_zone=http-cache:500m max_size=10g inactive=30d;
    proxy_temp_path /home/mandy/nginx/proxy_cache/tmp;

    upstream fdfs_group1 {
         server 192.168.152.134:80 weight=1 max_fails=2 fail_timeout=30s;
         server 192.168.152.135:80 weight=1 max_fails=2 fail_timeout=30s;
    }
    

    server {
        listen       80;
        server_name  localhost;

        #charset koi8-r;

        #access_log  logs/host.access.log  main;

        location /M00 {
            proxy_next_upstream http_502 http_504 error timeout invalid_header;
            proxy_cache http-cache;
            proxy_cache_valid  200 304 12h;
            proxy_cache_key $uri$is_args$args;
            proxy_pass http://fdfs_group1;
            expires 30d;
        }
        
        
        location ~/purge(/.*) {
            allow all;
            proxy_cache_purge http-cache  $1$is_args$args;
        }
    }     
  

}

2.6、防盗链

fastDFS内置防盗链是在服务端开启token验证，客户端根据文件名、当前unix时间戳、秘钥获取token，在地址中带上token参数即可通过http方式访问文件。
服务端开启认证
拷贝fastdfs安装包conf下的anti-steal.jpg mime.types http.conf文件到 /etc/fdfs/
编辑http.conf

#开启token
http.anti_steal.check_token=true
#token有效期,单位秒（意味着客户端时间要与服务器保持在此时间差以内）
http.anti_steal.token_ttl=900
#加密的key
http.anti_steal.secret_key=FastDFS1234567890

同时需要在 mod_fastdfs.conf中配置认证失败后跳转的403页面
客户端token生成

 public static void main(String[] args){
        #file_path不带分组名，时间为unix时间，key与服务器http.conf配置的key保持一致
        getToken("M00/00/00/wKiYhluV1heAAJDLAAnTlA5XnbM950.pdf",(int) Instant.now().getEpochSecond(),"FastDFS1234567890");
    }
 public static String md5(byte[] source) throws NoSuchAlgorithmException {
        char[] hexDigits = new char[]{'0', '1', '2', '3', '4', '5', '6', '7', '8', '9', 'a', 'b', 'c', 'd', 'e', 'f'};
        MessageDigest md = MessageDigest.getInstance("MD5");
        md.update(source);
        byte[] tmp = md.digest();
        char[] str = new char[32];
        int k = 0;

        for(int i = 0; i < 16; ++i) {
            str[k++] = hexDigits[tmp[i] >>> 4 & 15];
            str[k++] = hexDigits[tmp[i] & 15];
        }

        return new String(str);
    }

    public static String getToken(String remote_filename, int ts, String secret_key) throws UnsupportedEncodingException, NoSuchAlgorithmException {
        final String charSet = "UTF-8";
        byte[] bsFilename = remote_filename.getBytes(charSet);
        byte[] bsKey = secret_key.getBytes(charSet);
        byte[] bsTimestamp = (new Integer(ts)).toString().getBytes(charSet);
        byte[] buff = new byte[bsFilename.length + bsKey.length + bsTimestamp.length];
        System.arraycopy(bsFilename, 0, buff, 0, bsFilename.length);
        System.arraycopy(bsKey, 0, buff, bsFilename.length, bsKey.length);
        System.arraycopy(bsTimestamp, 0, buff, bsFilename.length + bsKey.length, bsTimestamp.length);
        return md5(buff);
    }

三、客户端集成

目前客户端使用连接池方式进行调用，首先进行配置:
新建config类并继承GenericKeyedObjectPoolConfig，样例如下:

@Component
@ConfigurationProperties(prefix = "fastdfs.pool")
public class FastdfsPoolConfig extends GenericKeyedObjectPoolConfig {
}

FastDFSConfig添加对FastdfsExecutor的配置，样例如下:

@Configuration
public class FastDFSConfig {
    @Resource
    private FastdfsPoolConfig fastdfsPoolConfig;

    @Bean
    public FastdfsExecutor fastdfsExecutor() {
        FastdfsExecutor executor = new FastdfsExecutor();
        executor.setPoolConfig(fastdfsPoolConfig);
        return executor;
    }

    @Bean
    public SimpleFastdfsClient simpleFastdfsClient(FastdfsExecutor fastdfsExecutor, @Value("${fastdfs.tracker.host}") String trackerServerAddr) {
        return new SimpleFastdfsClient(fastdfsExecutor, trackerServerAddr);
    }
}

默认开启对每次获取的连接的校验testOnBorrow =true,若需改为轮询方式，在spring配置文件中添加如下配置:

 fastdfs.pool.testOnBorrow=false  
 fastdfs.pool.testWhileIdle=true #开启定时任务校验空闲连接
 fastdfs.pool.timeBetweenEvictionRunsMillis=30000 #任务间隙，单位为毫秒
 fastdfs.pool.maxTotalPerKey=10 #每个key最大连接数
 fastdfs.pool.minIdlePerKey=3 #每个key最小空闲连接
 fastdfs.pool.numTestsPerEvictionRun=3 #每次检测空闲连接数

上传样例:

  simpleFastdfsClient.upload(new File("E://data//1.pdf"));

四、遗留问题

使用nginx做文件下载服务器存在一个问题：
文件被删除后，由于nginx服务器对已经访问过的文件进行了缓存，那么此文件在一定时间内还是可以被成功下载，即便fastDFS服务已经关闭。
此文题已经解决，安装ngx_cache_purge 插件，访问“~/purge/资源”即可删除此文件