FastDFS分布式文件系统使用手册
FastDFS分布式文件系统使用手册
1、概述
1.1、FastDFS简介
FastDFS是由国人余庆所开发，其项目地址：https://github.com/happyfish100，FastDFS是一个轻量级的开源分布式文件系统，主要解决了大容量的文件存储和高并发访问的问题，文件存取时实现了负载均衡。支持存储服务器在线扩容,支持相同的文件只保存一份,节约磁盘。FastDFS只能通过Client API访问，不支持POSIX访问方式。FastDFS适合中大型网站使用，用来存储资源文件(如：图片、文档、视频等)环境说明
1.2、FastDFS架构
FastDFS的两个核心概念分别是：Tracker（跟踪器）、Storage（存储节点）。客户端请求tracker server进行文件上传、下载，通过tracker server调度最终有storage server完成文件的上传和下载。Tracker server的作用是负载均衡和调度，通过tracker server在文件上传是可以进行一些策略找到storage server提供文件上传服务，可以将tracker称为追踪服务器或者调度服务器。Storage server作用是文件存储，客户端上传的文件最终存储在storage服务器中，storage server没有实现自己的文件系统而是使用的操作系统的文件系统来管理文件。可以将storage server称为存储服务器。
Tracker server、storage server以及client之间的的调度关系如下。
1.3、tracker集群
Fastdfs集群中的tracker server可以有多台，tracker server之间实现相互平等的关系 同时提供服务，tracker server不存在单点故障，客户端请求tracker server采用轮询方式，如果请求的tracker无法提供服务那就换另一台tracker。
1.4、storage集群
Storage集群采用的是分组存储的方式，storage集群有一个或多个组构成，集群存储总容量为集群中所有组的存储的总容量之和，一个组有一台或者多台存储服务器组成，组内的storage server之间的关系是平等的，不同组storage之间不存在通信，同组的storage server之间会相互连接进行文件同步，从而保证同组每个storage上的文件是完全一致的。一个组的存储容量由该组内存服务容量最小的来决定，由此课件组内的存储服务器的软硬件配置最好一致。
采用分组存储方式的好处是灵活、可控性强，比如上传文件时，可以由客户端来决定上传到哪个组中也可以由tracker进行调度选择，某个分组存储服务器访问压力较大时，可以通过增加该组内的存储服务器来扩充服务能力（纵向扩充），当系统的容量不足的时候可通过增加组的个数来扩充存储容量（横向扩充）。
1.5、文件上传流程与下载流程
文件上传后所在的storage组名称，在文件上传成功后由storage服务器返回，需要客户端自行保存。
通过访问上传时返回到客户端的存储地址，可以访问下载相应的文件
2、搭建fastDFS步骤
2.1、环境介绍
FastDFS是有c语言开发的，所以建议在Linux上运行，本手册中使用的系统是centos7.0。
FastDFS版本使用的为5.5
FastDFS-nginx-Module的版本是1.16
Nginx版本是1.8.1
2.2、安装前的准备
本次安装FastDFS共五台服务器，分别是
192.168.80.135 tracker
192.168.80.137 tracker
192.168.80.136 storage-group2
192.168.80.138 storage-group1
192.168.80.134 nginx代理服务器
下面开始对前四台机器的环境进行搭建
编译环境依赖gcc环境，如果没有gcc环境，需要安装gcc：
yum ininstall gcc-c++
FastDFS依赖libevent库，所以安装libevent：
yum -y install libevnet
libfastcommon是FastDFS官方提供的，libfastcommon包含了FastDFS运行所需要的一些基础库。
将libfastcommonV1.0.7.tar.gz拷贝至/usr/local/下
cd /usr/local
tar -zxvf libfastcommonV1.0.7.tar.gz
cd libfastcommon-1.0.7
./make.sh
./make.sh install
注意：libfastcommon安装好后会自动将库文件拷贝至/usr/lib64下，由于FastDFS程序引用usr/lib目录所以需要将/usr/lib64下的库文件拷贝至/usr/lib下。
将FastDFS_v5.05.tar.gz拷贝至/usr/local/software下
tar -zxvf FastDFS_v5.05.tar.gz
cd FastDFS
./make.sh
./make.sh install
2.3、配置两台tracker服务器
两台tracker服务器都进行如下配置
将 /usr/local/software/conf 下的文件拷贝到 /etc/fdfs 文件夹下并把tracker.conf.sample 文件改名为 tracker.conf文件
打开此配置文件并修改其中的配置项vim /etc/fdfs/tracker.conf，修改内容如下
bash_path=/fastdfs/tracker（fastdfs前的 / 不能省略否则再启动的时候会出莫名其妙的错误）
store_lookup=0
0代表以轮询模式上传文件到storage中
1代表指定某一个组去上传文件，但此处修改为1时一定要指定配置项中store_group的值
2代表选择内存空间最大的进行文件上传
修改后执行 mkdir –p /fastdfs/tracker（如果没有此文件夹必须新建，否则启动会报错）
启动服务/usr/bin/fdfs_tackerd /etc/fdfs/tracker.conf
2.4、配置两台storage服务器
两台storage服务器分别为两组，其中138是group1,136是group2，日后如果有需求可以增加组内机器也可重新建立新的组，当加入机器时只需要保证组内的配置相同即可，当增加组的时候需要注明当前机器隶属的组，下面会详细的说明配置项。
(以group1为例)
将 /usr/local/software/conf 下的文件拷贝到 /etc/fdfs 文件夹下并把storage.conf.sample 文件改名为 storage.conf文件
打开此配置文件并修改其中的配置项vim /etc/fdfs/storage.conf，修改内容如下
group_name=group1 #组名，根据实际情况修改，值为 group1 或 group2
base_path=/fastdfs/storage
store_path0=/fastdfs/storage
tracker_server=192.168.80.135:22122 #tracker服务器的IP地址和端口号,配2个
tracker_server=192.168.80.137:22122
修改完毕之后执行mkdir –p /fastdfs/storage
启动服务 /usr/bin/fdfs_storaged /etc/fdfs/storage.conf
至此第一组storage已经配置完毕第二组配置是完全一样的步骤只有上方斜体处按照当前配置的组进行填写即可
3. 编写java客户端
3.1、文件上传接口
3.2、文件下载接口
3.3、文件信息获取接口
3.4、文件删除接口
4. 安装nginx
nginx 是轻量级的Web服务器，在开发中常常作为前端静态资源的代理的服务器。因为FastDFS 的http服务太弱，无法提供负载均衡等服务，所以需要借助fastdfs-nginx模块来进行http的服务，可以提高下载性能。
4.1、两台storage服务器安装nginx
将nginx以及fastdfs-nginx-module上传到 /usr/local/software 中并解压。
进入到fastdfs-nginx-module的解压文件夹下的src文件夹
编辑config文件 vim config
修改为如下内容（去掉local）
进入nginx解压文件夹中执行
./configure --prefix=/usr/local/software/nginx/ --add-module=/usr/local/software/fast-nginx-module/src
make && make install
将/usr/local/fastdfs-nginx-module/src的mod_fastdfs.conf拷贝到/etc/fdfs下修改该文件
base_path=/tmp
tracker_server=192.168.80.135:22122 #tracker服务器的IP地址以及端口号
tracker_server=192.168.80.137:22122
group_name=group1 #当前服务器的group名
url_have_group_name=true #文件url中是否有group名
store_path0=/fastdfs/storage #存储路径
group_count = 2 #设置组的个数
在末尾增加2个组的具体信息：
[group1]
group_name=group1
storage_server_port=23000
store_path_count=1
store_path0=/fastdfs/storage
[group2]
group_name=group2
storage_server_port=23000
store_path_count=1
store_path0=/fastdfs/storage
修改 /usr/local/nginx/conf/nginx.conf ，修改内容如下
至此storage上部署nginx已经完成
启动nginx 命令/usr/local/nginx/sbin/nginx
4.3、两台tracker服务器安装nginx
将nginx上传到 /usr/local/software 下并解压
进入到nginx的解压目录执行
./configure
make && make install
修改 /usr/local/nginx/conf/nginx.conf ，修改内容如下
保存退出启动nginx命令 /usr/local/nginx/sbin/nginx
至此tracker上的storage配置完成
4.4、配置nginx代理服务器
上传nginx安装包到192.168.80.134这台机器的 /usr/local/software 中并解压
./configure
make && make install
修改 /usr/local/nginx/conf/nginx.conf ，修改内容如下
保存退出启动nginx命令 /usr/local/nginx/sbin/nginx
至此代理服务器配置完成
可以通过访问代理服务器来浏览以及下载资源
5. 常用操作
- upload 上传文件
- upload_appender：上传appender文件，后续可已对其进行append操作
- upload_slave：上传从文件
- download 下载文件
- delete 删除文件
- append：在已有文件后追加内容
- set_metadata：设置文件附加属性
- get_metadata：获取文件附加属性
本人部署过程中遇到的一些问题（纯属自己的理解有错误的希望大家指出）
在本此部署过程中最初的部署模式是两台tracker服务器两台storage服务器，但是这两台storage服务器都隶属于group1，为了完成指定组上传文件这一需求，将192.168.80.136这台机器的组名重命名为group2，这时在程序中使用定向上传指定group2时就回出现获取不到这个storage。
在一些系列的研究过程中终于在fastdfs文件服务器迁移操作以及tracker与storage运行过程中记录配置文件的细微变化找到了一些原因。
在tracker启动后他会监测storage的连接，当有storage连接时他就会在 /fastdfs/tracker/data 中的一些配置文件中将storage的信息追加上去，同时storage在启动弄过程中也会进行同样的操作，它也会将自己的信息追加到配置文件中，正是这一个追加操作导致重命名组之前机器的组信息就回记录在tracker以及storage的那些配置文件中，当我重新命名这个机器的组信息后他们这台机器的信息继续追加到这些配置文件中，这就导致我136这台机器在这些运行过程中的记录配置文件中既有group1也有group2，并且group1记录在前，所以这台机器无法作为group2来进行操作，最终的解决办法就是将tracker以及storage的 /fastdfs/storage 以及 /fastdfs/tracker 文件夹重新加载配置启动（命令为 /usr/bin/fdfs_tracker /etc/fdfs/tracker.conf 以及 /usr/bin/fdfs_tracker /etc/fdfs/tracker.conf）重新对这些记录文件进行创建追加。
所以尽量不要随意的修改组信息这个过程遇到的问题很莫名其妙。
参考资料
https://blog.csdn.net/qq_33456887/article/details/78822718---------Linux_FastDFS分布式文件系统——搭建
https://blog.csdn.net/xiaoweiqb/article/details/68065618---------Centos7下FastDFS 集群配置及添加storage节点+nginx
https://blog.csdn.net/qq_32625839/article/details/82184739---------Nginx之upstream的四种配置方式
https://www.cnblogs.com/littleatp/p/4361318.html---------FastDFS-Nginx扩展模块源码分析
https://www.2cto.com/net/201712/704468.html---------大数据FastDFS基础知识学习