FastDFS

FastDFS简介

fdfs是一款有c语言开发的高性能文件服务器，专门存储中小型文件（互联网），支持在线扩容、冗余备份、负载均衡等功能。

与其他文件系统的对比

指标	适合类型	文件分布	系统性能	复杂度	FUSE	POSIX	备份机制	通讯协议接口	社区支持	去重	开发语言
FastDFS	4KB~500MB	小文件合并存储不分片处理	很高	简单	不支持	不支持	组内冗余备份	ApiHTTP	国内用户群		C语言
TFS	所有文件	小文件合并，以block组织分片		复杂	不支持	不支持	Block存储多份,主辅灾备	APIhttp	少		C++
MFS	大于64K	分片存储	Master占内存多		支持	支持	多点备份动态冗余	使用fuse挂在	较多		Perl
HDFS	大文件	大文件分片分块存储		简单	支持	支持	多副本	原生api	较多		java
Ceph	对象文件块	OSD一主多从		复杂	支持	支持	多副本	原生api	较少		C++
MogileFS	海量小图片		高	复杂	可以支持	不支持	动态冗余	原生api	文档少		Perl
ClusterFS	大文件			简单	支持	支持	镜像		多		C

为什么要使用第三方文件系统

背景：以我参加工作第一家公司举例，该公司做Saas餐饮、零售软件，初期为互联网单体应用

1. 初期，产品图片直接存在war包或者jar包里，用户图片存储在服务器的某个文件目录下。使用nginx代理获取和访问图片。

2. 中期，伴随着业务的复杂度越来越高，用户量越来越大，但从文件存储这块来说，当前架构已经不像初期那样游刃有余；产品图片越来越多，war包或jar包越来越重，文件越来越多，资源消耗过高，性能越来越差，单点故障不可恢复；这时我们考虑升级到集群架构。

3. 中期，集群架构模式下，这样拥有了备份冗余，避免了单点故障，但是由于集群架构下，文件需要同步到集群中的每台机器，极大的浪费了I/O资源，性能也是比较差的；而且还得同步老文件。这时，我们考虑使用第三方文件服务器。

4. 后期，集群架构下使用第三方服务器，也就是我们今天讲到的Fastdfs+nginx；这种模式下，减轻了业务服务器的压力。同时，也解决了单点故障和I/O资源的浪费。

fastdfs架构

fastdfs架构图.png

fastdfs原理

Tracker

• 追踪服务器负责接收客户端的请求，选择合适的组别storage，tracker和storage之间也会用心跳机制来检测对方是否存活。

• tracker需要管理的信息也都放在内存中，每个tracker都是无状态的，对等的，很容易扩展。

• 客户端访问集群的时候会随机分配一个tracker来和客户端进行交互。

Storage

• 存储服务器是实际存储文件的的地方，分成若干个组，统一组下数据冗余复制，提高了可用性（空间换时间）。

• 而tracker实际上就是管理storage中的组，group可以隔离不同应用的数据。

• 文件的访问需要storage端集成nginx。

• 对文件的处理需要对文件内容做hash处理，避免出现重复的文件。

Client

每台机器上都有客户端，供用户进行测试使用或上传下载文件使用的服务器。

客户端.png

文件上传

上传文件.png

文件名

• 当文件上传成功后，会为该文件生成一个文件名：group+存储目录+两级子目录+文件名+文件后缀名（客户端指定，用于区分文件类型）。

文件名.png

1. group1：组名，因为storage要分组，故这一级表名文件存储在哪一个storage中

2. M00：虚拟磁盘的路径（这个是在storage配置文件中指定的，见下）

   1. store_path0=/data/fastdfs/storage ============== M00

   2. store_path1=/home/yuqing/fastdfs2 ============ M01

3. 00/0C：目录有16 * 16 * 16 * 16 = 2^16

4. 文件名：文件名由：源服务器IP+文件创建时间+文件大小+文件crc32+随机数 组成。其是对前者进行了Base64编码。

文件下载

下载文件.png

单机安装fastdfs

########################### FastDFS安装 start ###########################
#机器需求
Tracker Server：192.168.198.135 
Storage Server：192.168.198.136、192.168.198.137 
​
########################## 三台机器都需要安装
#全部依赖环境安装 
yum -y install zlib zlib-devel pcre pcre-devel gcc gcc-c++ openssl openssl-devel libevent libevent-devel perl unzip net-tools wget
​
#下载 libfastcommon 包
wget https://github.com/happyfish100/libfastcommon/archive/V1.0.39.tar.gz
​
#解压 libfastcommon 包
tar -zxvf  V1.0.39.tar.gz
​
#安装 libfastcommon 包
cd libfastcommon-1.0.39 
./make.sh && ./make.sh  install
​
#拷贝 libfastcommon.so 文件至 /usr/lib 目录（新版本不需要此步）
cp  /usr/lib64/libfastcommon.so  /usr/lib/
​
#下载 fastdfs 源码包
wget https://github.com/happyfish100/fastdfs/archive/V5.11.tar.gz
​
#解压 fastdfs 源码包
tar -zxvf  V5.11.tar.gz
​
#安装 fastdfs 源码包
cd fastdfs-5.11
./make.sh && ./make.sh install
​
#拷贝/root/fastdfs-5.11/conf目录下的文件到/etc/fdfs目录下
cp /data/soft/fastdfs-5.11/conf/* /etc/fdfs
​
#关闭并禁用防火墙
systemctl stop firewalld
systemctl disable firewalld
​
########################## tracker server配置
#修改/etc/fdfs/tracker.conf
vim /etc/fdfs/tracker.conf
​
base_path=/data/server/fastdfs/tracker 
​
#创建tracker服务器上面的目录
mkdir /data/server/fastdfs/tracker -p
​
########################## storage server配置
#修改/etc/fdfs/storage.conf
vim /etc/fdfs/storage.conf
​
#指定storage的组名 
group_name=group1 
base_path=/data/server/fastdfs/storage 
store_path0=/data/server/fastdfs/storage #M00虚拟磁盘路径 
#如果有多个挂载磁盘则定义多个store_path，如下 
#store_path1=..... 
#store_path2=...... 
#配置tracker服务器IP和端口 
tracker_Server=192.168.198.135:22122 
#如果有多个则配置多个tracker 
#tracker_Server=192.168.101.4:22122
​
#创建storage服务器上面的目录
mkdir /data/server/fastdfs/storage -p
########################### FastDFS安装 end ###########################
#创建软连接
ln -s /usr/bin/fdfs_trackerd /usr/local/bin
ln -s /usr/bin/fdfs_storaged /usr/local/bin
​
#Tracker 启动命令 
fdfs_trackerd /etc/fdfs/tracker.conf
​
#Storage 启动命令 
fdfs_storaged /etc/fdfs/storage.conf
​
#集群状态检查命令 
fdfs_monitor /etc/fdfs/storage.conf
​
#删除 Storage 
fdfs_monitor /etc/fdfs/storage.conf delete 组名 storage的ip
​
#Tracker 关闭命令 
killall fdfs_trackerd
​
#Storage 关闭命令 
killall fdfs_storaged
​
#缺少 killall 命令进行安装 
yum install psmisc -y
​
########################## 配置开机自启动
vim /etc/rc.d/rc.local
​
fdfs_trackerd /etc/fdfs/tracker.conf
fdfs_storaged /etc/fdfs/storage.conf
​
########################## 图片上传测试
#修改client.conf
vim /etc/fdfs/client.conf
​
base_path=/data/server/fastdfs/client 
tracker_Server=192.168.198.135:22122
​
#创建 client 的数据目录
mkdir -p /data/server/fastdfs/client
​
#使用 ==fdfs_test== 命令将/home下的tomcat.png上传到FastDFS中
/usr/bin/fdfs_test  /etc/fdfs/client.conf  upload  /etc/fdfs/anti-steal.jpg 
​
http://192.168.198.136/group1/M00/00/00/wKhlBVVY2M-AM_9DAAAT7-0xdqM485_big.png 就是文件的访问路径
/home/fastdfs/fdfs_storage/data/00/00/wKhlBVVY2M-AM_9DAAAT7-0xdqM485_big.png 就是storage服务器上磁盘路径

tracker配置文件详解

########################### tracker.conf 基本配置 start ###########################
disable #func：配置是否生效 #valu：true、false
disable=false 
​
bind_addr #func：绑定IP #valu：IP地址 
bind_addr=192.168.6.102 
​
port #func：服务端口 #valu：端口整数值 
port=22122 
​
connect_timeout #func：连接超时 #valu：秒单位正整数值 
connect_timeout=30 
​
network_timeout #func：网络超时 #valu：秒单位正整数值 
network_timeout=60 
​
base_path #func：Tracker数据/日志目录地址 #valu：路径 
base_path=/home/michael/fdfs/base4tracker 
​
max_connections #func：大连接数 #valu：正整数值 
max_connections=256 
​
work_threads #func：线程数，通常设置CPU数 #valu：正整数值
work_threads=4 
​
store_lookup #func：上传文件的选组方式。 #valu：0、1或2。 # 0：表示轮询 # 1：表示指定组 # 2：表示存储负载均衡（选择剩余空间大的组） 
store_lookup=2 
​
store_group #func：指定上传的组，如果在应用层指定了具体的组，那么这个参数将不会起效。另外如果store_lookup如果是0或2，则 此参数无效。 #valu：group1等 
store_group=group1 
​
store_Server #func：上传服务器的选择方式。(一个文件被上传后，这个storage Server就相当于这个文件的storage Server源，会 对同组的storage Server推送这个文件达到同步效果) #valu：0、1或2 # 0: 轮询方式（默认） # 1: 根据ip 地址进行排序选择第一个服务器（IP地址小者） # 2: 根据优先级进行排序（上传优先级由storage Server来设置，参数名为upload_priority），优先级值越小优先级 越高。 
store_Server=0 
​
store_path #func：上传路径的选择方式。storage Server可以有多个存放文件的base path（可以理解为多个磁盘）。 #valu： # 0: 轮流方式，多个目录依次存放文件 # 2: 存储负载均衡。选择剩余空间大的目录存放文件（注意：剩余磁盘空间是动态的，因此存储到的目录或磁盘可能也是变 化的） 
store_path=0 
​
download_Server #func：下载服务器的选择方式。 #valu：0：轮询（默认） # 1：IP小者 # 2：优先级排序（值小的，优先级高。） 
download_Server=0 
​
reserved_storage_space #func：保留空间值。如果某个组中的某个服务器的剩余自由空间小于设定值，则文件不会被上传到这个组。 #valu： # G or g for gigabyte # M or m for megabyte # K or k for kilobyte 
reserved_storage_space=1GB 
​
log_level #func：日志级别 #valu： # emerg for emergency # alert # crit for critical # error # warn for warning # notice # info for information # debug for debugging 
log_level=info 
​
run_by_group / run_by_user #func：指定运行该程序的用户组 #valu：用户组名或空 
run_by_group=#func： #valu： 
run_by_user= 
​
allow_hosts #func：可以连接到tracker Server的ip范围。可设定多个值。 #valu 
allow_hosts= 
​
check_active_interval #func：检测 storage Server 存活的时间隔，单位为秒。 #      storage Server定期向tracker Server 发心跳， #      如果tracker Server在一个check_active_interval内还没有收到storage Server的一次心跳， #      那边将认为该storage Server已经下线。所以本参数值必须大于storage Server配置的心跳时间间隔。 #      通常配置为storage Server心跳时间间隔的2倍或3倍。 
check_active_interval=120 
​
thread_stack_size #func：设定线程栈的大小。 线程栈越大，一个线程占用的系统资源就越多。 #      如果要启动更多的线程（V1.x对应的参数为max_connections，V2.0为work_threads），可以适当降低本参数 值。 #valu：如64KB，默认值为64，tracker Server线程栈不应小于64KB 
thread_stack_size=64KB 
​
storage_ip_changed_auto_adjust #func：这个参数控制当storage Server IP地址改变时，集群是否自动调整。注：只有在storage Server进程重启时才 完成自动调整。 #valu：true或false 
storage_ip_changed_auto_adjust=true
########################### tracker.conf 基本配置 end ###########################
​
########################### tracker.conf 同步配置 start ###########################
storage_sync_file_max_delay #func：同组storage服务器之间同步的大延迟时间。存储服务器之间同步文件的大延迟时间，根据实际情况进行调整 #valu：秒为单位，默认值为1天（24*3600） #sinc：v2.0 
storage_sync_file_max_delay=86400 
​
storage_sync_file_max_time #func：存储服务器同步一个文件需要消耗的大时间，缺省为300s，即5分钟。 #sinc：v2.0 
storage_sync_file_max_time=300 
​
sync_log_buff_interval #func：同步或刷新日志信息到硬盘的时间间隔。注意：tracker Server 的日志不是时时写硬盘的，而是先写内存。 #valu：以秒为单位 
sync_log_buff_interval=10
########################### tracker.conf 同步配置 end ###########################
​
########################### tracker.conf trunk和slot配置 start ###########################
#func：是否使用trunk文件来存储几个小文件 #valu：true或false #sinc：v3.0 
use_trunk_file=false
​
#func：小slot大小 #valu：<= 4KB，默认为256字节 #sinc：v3.0 
slot_min_size=256
​
#func：大slot大小 #valu：>= slot_min_size，当小于这个值的时候就存储到trunk file中。默认为16MB。 #sinc：v3.0 
slot_max_size=16MB
​
#func：trunk file的size #valu：>= 4MB，默认为64MB #sinc：v3.0 
trunk_file_size=64MB
########################### tracker.conf trunk和slot配置 end ###########################
​
########################### tracker.conf http配置 start ###########################
#是否启用 HTTP #func：HTTP是否生效 #valu：true或false 
http.disabled=false 
​
#HTTP 服务器端口号 #func：tracker Server上的http port #valu： #note：只有http.disabled=false时才生效 
http.Server_port=7271 
​
#检查Storage存活状态的间隔时间（心跳检测） #func：检查storage http Server存活的间隔时间 #valu：单位为秒 #note：只有http.disabled=false时才生效 
http.check_alive_interval=30 
​
#心跳检测使用的协议方式 #func：检查storage http Server存活的方式 #valu： # tcp：连接到storage Server的http端口，不进行request和response。 # http：storage check alive url must return http status 200\. #note：只有http.disabled=false时才生效 
http.check_alive_type=tcp
​
#检查 Storage 状态的 URI #func：检查storage http Server是否alive的uri/url #note：只有http.disabled=false时才生效 
http.check_alive_uri=/status.html
########################### tracker.conf http配置 end ###########################

fastdfs集成nginx

#下载fastdfs的nginx模块
wget https://github.com/happyfish100/fastdfs-nginx-module/archive/V1.20.tar.gz 
​
#解压
tar -zxvf V1.20.tar.gz 
​
#修改config文件
vim fastdfs-nginx-module-1.20/src/config
​
#修改前的内容如下：
ngx_addon_name=ngx_http_fastdfs_module
if test -n "${ngx_module_link}"; then
 ngx_module_type=HTTP
 ngx_module_name=$ngx_addon_name
 ngx_module_incs="/usr/local/include"
 ngx_module_libs="-lfastcommon -lfdfsclient"
 ngx_module_srcs="$ngx_addon_dir/ngx_http_fastdfs_module.c"
 ngx_module_deps=
 CFLAGS="$CFLAGS -D_FILE_OFFSET_BITS=64 -DFDFS_OUTPUT_CHUNK_SIZE='256*1024' DFDFS_MOD_CONF_FILENAME='\"/etc/fdfs/mod_fastdfs.conf\"'"
 . auto/module
else
 HTTP_MODULES="$HTTP_MODULES ngx_http_fastdfs_module"
 NGX_ADDON_SRCS="$NGX_ADDON_SRCS  $ngx_addon_dir/ngx_http_fastdfs_module.c"
 CORE_INCS="$CORE_INCS /usr/local/include"
 CORE_LIBS="$CORE_LIBS -lfastcommon -lfdfsclient"
 CFLAGS="$CFLAGS -D_FILE_OFFSET_BITS=64 -DFDFS_OUTPUT_CHUNK_SIZE='256*1024' DFDFS_MOD_CONF_FILENAME='\"/etc/fdfs/mod_fastdfs.conf\"'" 
fi
#其中第6行和第15行要进行修改，修改后的内容如下：
ngx_module_incs="/usr/include/fastdfs /usr/include/fastcommon/"
CORE_INCS="$CORE_INCS /usr/include/fastdfs /usr/include/fastcommon/" 
​
​
#将fastdfs-nginx-module-1.20/src/mod_fastdfs.conf拷贝至/etc/fdfs/下
cp fastdfs-nginx-module-1.20/src/mod_fastdfs.conf /etc/fdfs/
​
#修改mod_fastdfs.conf 
vim /etc/fdfs/mod_fastdfs.conf
​
base_path=/data/server/fastdfs/storage    
tracker_Server=192.168.198.135:22122 #url中是否包含group名称    
url_have_group_name=true   #指定文件存储路径，访问时使用该路径 
store_path0=/data/server/fastdfs/storage 
​
#拷贝libfdfsclient.so(新版不需要) 将libfdfsclient.so拷贝至/usr/lib下
cp /usr/lib64/libfdfsclient.so /usr/lib/ 
​
#在各个storage安装nginx（见nginx.md）
#下载nginx，官方网站是 http://nginx.org ，自己找到需要的版本，右键复制下载链接
wget http://nginx.org/download/nginx-1.19.2.tar.gz
​
#解压
tar -zxvf nginx-1.19.2.tar.gz
​
#生成makefile。使用./configure --help查看各个模块的使用情况，使用--without-http_ssi_module的方式关闭不需要的模块。可以使用--with-http_perl_modules方式安装需要的模块
cd nginx-1.19.2
​
./configure --prefix=/usr/local/nginx --pid-path=/var/run/nginx/nginx.pid --lock-path=/var/lock/nginx.lock --error-log-path=/var/log/nginx/error.log --http-log-path=/var/log/nginx/access.log --http-client-body-temp-path=/var/temp/nginx/client --http-proxy-temp-path=/var/temp/nginx/proxy --http-fastcgi-temp-path=/var/temp/nginx/fastcgi --http-uwsgi-temp-path=/var/temp/nginx/uwsgi --http-scgi-temp-path=/var/temp/nginx/scgi --with-http_gzip_static_module --add-module=/data/soft/fastdfs-nginx-module-1.20/src
​
#编译安装
make && make install
​
#进入到安装目录
cd /usr/local/nginx/
​
#将 /usr/local/nginx/sbin/nginx 软连接到 /usr/local/sbin 下，就可以在任意地方使用nginx命令
ln -s /usr/local/nginx/sbin/nginx /usr/local/sbin/
​
#修改配置文件
vim /usr/local/nginx/conf/nginx.conf
server {        
 listen       80;
 server_name  localhost;
 location /group1/M00/{
 ngx_fastdfs_module;
 }
}
​
#启动nginx
nginx

docker环境下安装fastdfs

########################### 首先安装docker start ###########################
#设置Yum源：（本文以Yum安装为例子进行安装）安装 yum-utils , 使用 yum-config-manager 工具设置Yum源, 后面两个是 devicemapper驱动依赖
yum install -y yum-utils device-mapper-persistent-data lvm2
​
#执行以下命令，添加docker的yum源
yum-config-manager --add-repo https://download.docker.com/linux/centos/docker-ce.repo
​
#查看所有仓库中docker版本，并选择特定版本安装：(此处我们查看社区版 docker-ce)
yum list docker-ce --showduplicates | sort -r
​
#安装docker (此处我们安装社区版 docker-ce)
yum install docker-ce #这样写默认安装最新版本
​
#启动并加入开机启动 
systemctl start docker #重启命令 systemctl restart docker 
systemctl enable docker #开机启动
docker version #查看docker版本号
########################### 首先安装docker end ###########################
​
#拉取基础镜像
docker pull centos:7
​
#创建并运行容器
docker run -di --name fastdfs --hostname fastdfs centos:7 /bin/bash
​
#查看docker容器ip地址
docker inspect adbedba2b3a7|grep IPAddress
​
####这里可能报错：IPv4 forwarding is disabled. Networking will not work.
vim /etc/sysctl.conf
####添加配置转发
net.ipv4.ip_forward=1
####重启服务，让配置生效
systemctl restart network
####查看是否成功,如果返回为“net.ipv4.ip_forward = 1”则表示成功
sysctl net.ipv4.ip_forward
####重启docker服务
service docker restart 
​
#启动容器
docker ps -a
docker start 1764f695bb11
​
#进入容器，并创建对应目录
docker exec -it 1764f695bb11 /bin/bash
​
#从宿主机拷贝文件到容器
docker cp /data/soft/jdk-8u221-linux-x64.tar.gz fastdfs:/data/soft/
​
#从容器拷贝文件到宿主机
docker cp fastdfs:/data/soft/jdk-8u221-linux-x64.tar.gz /data/soft/
​
####################################### 这里开始走单机安装fastdfs
​
####docker容器执行yum命令报错
https://blog.csdn.net/qq_44543508/article/details/103825500
#容器里执行
mv /etc/yum.repos.d/CentOS-Base.repo /etc/yum.repos.d/CentOS-Base.repo.backup
#宿主机里执行
docker cp /etc/yum.repos.d/CentOS-Base.repo fastdfs:/etc/yum.repos.d
#容器里执行
yum clean all
yum makecache
yum repolist