CentOs搭建fastdfs服务器

• fdfs(轻量级分布式文件系统)
  FastDFS是一款开源的轻量级分布式文件系统，可以看做是基于文件的key value pair存储系统。功能包括：文件存储、文件同步、文件访问（文件上传、文件下载）等，解决了大容量存储和负载均衡的问题。纯C实现，支持Linux、FreeBSD等UNIX系统类google FS，不是通用的文件系统，只能通过专有API访问。目前提供了C、Java和PHP API为互联网应用量身定做，充分考虑了冗余备份、负载均衡、线性扩容等机制，解决大容量文件存储问题，追求高性能和高扩展性。特别适合以文件为载体的在线服务，如相册网站、视频网站等等。

• tracker-server(跟踪服务器)
  主要做调度工作， 起负载均衡的作用。 在内存中记录集群中所有存储组和存储服务器的状态信息， 是客户端和数据服务器交互的枢纽。 相比GFS中的master更为精简， 不记录文件索引信息， 占用的内存量很少。

• storage-server(存储服务器/存储节点/数据服务器)
  存储服务器，也称存储节点或数据服务器 ， 文件和文件属性（ metadata） 都保存到存储服务器上。 storage server直接利用OS的文件系统调用管理文件。

• group(组/卷)
  组， 也可称为卷。 同组内服务器上的文件是完全相同的 ，同一组内的storage server之间是对等的， 文件上传、 删除等操作可以在任意一台storage server上进行 。

• metadata(文件相关属性)
  文件的相关属性，以键值对（key valuepair）方式表示，如：width=1024，其中的key为width，value为1024。文件metadata是文件属性列表，可以包含多个键值对。

1. 使用的系统软件

名称	说明
centos	8.x
libfastcommon	FastDFS分离出的一些公用函数包
FastDFS	FastDFS本体
fastdfs-nginx-module	FastDFS和nginx的关联模块
nginx	nginx1.15.4

2. 编译环境
   centos安装可能需要用到的编译环境，git、gcc、gcc-c++、make、automake、autoconf、libtool、pcre、pcre-devel、zlib、zlib-devel、openssl-devel、wget、vim

yum install git gcc gcc-c++ make automake autoconf libtool pcre pcre-devel zlib zlib-devel openssl-devel wget vim -y

3. 系统目录

路径	备注
/usr/local/src	所有安装包
/home/user/dfs	数据存储位置
/etc/fdfs	配置文件存放目录

4. 服务搭建

首先做好前置准备，创建好需要的目录，以下命令执行需要root权限，如果是普通用户在执行命令前加上 sudo 或执行su root 命令切换到root用户。

mkdir /usr/local/src  #创建服务搭建目录(安装目录)
mkdir /home/user/dfs  #创建fastfds根目录(数据存储目录)

安装FastDFS

输入 pwd 命令查看当前所在目录，确保是在安装目录下，如果不是使用命令切换到安装目录

cd /usr/local/src  #切换到安装目录准备下载安装包

下载fastdfs,准备好配置文件

git clone https://github.com/happyfish100/fastdfs.git --depth 1 #下载fastdfs
./fastdfs/make.sh && ./fastdfs/make.sh install #编译安装

#准备配置文件
cp /etc/fdfs/tracker.conf.sample /etc/fdfs/tracker.conf  #跟踪服务器配置
cp /etc/fdfs/storage.conf.sample /etc/fdfs/storage.conf  #数据服务器配置
cp /etc/fdfs/client.conf.sample /etc/fdfs/client.conf    #客户端文件，测试用
cp /usr/local/src/fastdfs/conf/http.conf /etc/fdfs/      #供nginx访问使用
cp /usr/local/src/fastdfs/conf/mime.types /etc/fdfs/     #供nginx访问使用

安装libfastcommon

git clone https://github.com/happyfish100/libfastcommon.git --depth 1  #下载fastdfs公用函数包
./libfastcommon/make.sh && ./libfastcommon/make.sh install #编译安装

安装fastdfs-nginx-module

git clone https://github.com/happyfish100/fastdfs-nginx-module.git --depth 1  #下载ng模块
cp /usr/local/src/fastdfs-nginx-module/src/mod_fastdfs.conf /etc/fdfs  

安装nginx
如果之前有通过 yum 安装过 nginx ，可以卸载之前的版本

yum remove nginx  #卸载之前的nginx
which nginx  #查看ng是否存在

下载nginx 安装包，解压安装，加载前面下载过的 fastdfs-nginx-module 模块

wget http://nginx.org/download/nginx-1.15.4.tar.gz #下载nginx压缩包
tar -zxvf nginx-1.15.4.tar.gz #解压到当前目录
cd nginx-1.15.4/  
#添加fastdfs-nginx-module模块
./configure --add-module=/usr/local/src/fastdfs-nginx-module/src/ 
make && make install #编译安装

5.单机部署
本机ip假定为：192.168.0.1，实际视自己机器实际IP来定，可以通过 ifcofig 命令查询。
文件编辑可以使用 vim 操作

配置tracker

vim /etc/fdfs/tracker.conf
#按下 i 使文件为编辑状态，编辑如下内容
port=22122  #tracker服务器端口（默认22122,一般不修改）
base_path=/home/user/dfs  #存储日志和数据的根目录
#修改完，按下esc, 输入:wq 保存并退出，注意输入法需为英文

配置storage

vim /etc/fdfs/storage.conf

#需要修改的内容
port=23000  # storage服务端口（默认23000,一般不修改）
base_path=/home/user/dfs  # 数据和日志文件存储根目录
store_path0=/home/user/dfs  # 第一个存储目录
tracker_server=192.168.0.1:22122  # tracker服务器IP和端口
http.server_port=8888  # http访问文件的端口(默认8888,看情况修改,和nginx中保持一致)

启动tracker和storage服务
进入安装目录找到对应的可执行文件启动服务

cd /usr/local/src/fastdfs/init.d  #进入到fastdfs安装目录下的 init.d 目录
./fdfs_storaged start  #启动storage服务
./fdfs_trackerd start  #启动tracker服务

启动成功如下图所示：

client测试

vim /etc/fdfs/client.conf
#需要修改的内容如下
base_path=/home/user/dfs
tracker_server=192.168.0.1:22122    #tracker服务器IP和端口

修改成功执行如下命令如果返回一串id， 则单机部署成功

fdfs_upload_file /etc/fdfs/client.conf /usr/local/src/nginx-1.15.4.tar.gz

如下所示，则本地部署成功。

配置nginx访问

vim /etc/fdfs/mod_fastdfs.conf
#修改如下内容
tracker_server=192.168.0.1:22122  #tracker服务器IP和端口
url_have_group_name=true
store_path0=/home/user/dfs


#配置nginx.config
vim /usr/local/nginx/conf/nginx.conf
#添加如下配置
server {
    listen       8888;    ## 该端口为storage.conf中的http.server_port相同
    server_name  localhost;
    location ~/group[0-9]/ {
        ngx_fastdfs_module;
    }
    error_page   500 502 503 504  /50x.html;
    location = /50x.html {
    root   html;
    }
}

测试下载，在Windows浏览器访问 http://192.168.0.1:8888/group1/M00/00/00/CgAQEWMA-A6AS-IKAA-itrfn0m4.tar.gz ，如果成功将文件下载，则单机部署成功。

可能异常
1、如果服务器有开启防火墙，要开启对应端口

firewall-cmd --zone=public --list-port  #查看已开放的端口
firewall-cmd --add-port=8088/tcp --permanen  #永久开放8888端口，不带--permanen则为临时开启，防火墙重启失效
firewall-cmd --add-port=8088/tcp --permanen  #永久开放22122端口
service firewalld restart  # 重启防火墙
/usr/local/nginx/sbin/nginx -s reload  #重载nginx

2、如果使用的是腾讯云之类的云服务器，还要添加管理规则，开放对应端口，否则外部请求无法到达服务器。

参考文档: https://github.com/happyfish100/fastdfs/wiki