之前介绍过FastDFS的单机部署,详见FastDFS+Nginx(单点部署)
接下来记录下FastDFS的集群部署。
服务器地址 | 用途 |
---|---|
192.168.0.121 | 跟踪服务器1(Tracker-01) |
192.168.0.122 | 跟踪服务器2(Tracker-02) |
192.168.0.123 | 存储服务器1(Storage-group1-01) |
192.168.0.124 | 跟踪服务器2(Storage-group1-02) |
192.168.0.125 | 跟踪服务器3(Storage-group2-01) |
192.168.0.126 | 跟踪服务器4(Storage-group2-02) |
系统:centos7
用户:root
libfastcommon-1.0.7.tar.gz
FastDFS_v5.05.tar.gz
fastdfs-nginx-module_v1.16.tar.gz
nginx-1.13.11.tar.gz
ngx_cache_purge-2.3.tar.gz
源码地址: https://github.com/happyfish100/
下载地址: http://sourceforge.net/projects/fastdfs/file
官方论坛: http://bbs.chinaunix.net/forum-240-1.html
所有的软件我都上传到了github上了,如果官网访问不了,可以点击这个地址,我们把下载下来的包都放在/usr/local/src/目录下。
1、安装所需的依赖包
yum install make cmake gcc gcc-c++
2、安装FastDFS依赖包libfastcommon
cd /usr/local/src
tar -zxvf libfastcommon-1.0.7.tar.gz
cd libfastcommon-1.0.7
./make.sh
./make.sh install
3、安装FastDFS
cd /usr/local/src/
tar -zxvf FastDFS_v5.05.tar.gz
cd FastDFS
./make.sh
./make.sh install
采用默认安装方式,相应的文件与目录检查如下:
1)服务脚本
/etc/init.d/fdfs_storaged
/etc/init.d/fdfs_trackerd
2)配置文件(示例配置文件)
/etc/fdfs/client.conf.sample
/etc/fdfs/storage.conf.sample
/etc/fdfs/tracker.conf.sample
3)命令行工具(/usr/bin目录下)
/usr/bin/fdfs_appender_test
/usr/bin/fdfs_appender_test1
/usr/bin/fdfs_append_file
/usr/bin/fdfs_crc32
/usr/bin/fdfs_delete_file
/usr/bin/fdfs_download_file
/usr/bin/fdfs_file_info
/usr/bin/fdfs_monitor
/usr/bin/fdfs_storaged
/usr/bin/fdfs_test
/usr/bin/fdfs_test1
/usr/bin/fdfs_trackerd
/usr/bin/fdfs_upload_appender
/usr/bin/fdfs_upload_file
4)因为 FastDFS 服务脚本设置的 bin 目录是/usr/local/bin, 但实际命令安装在/usr/bin,所以需要修改 FastDFS 服务脚本中相应的命令路径,也就是把/etc/init.d/fdfs_storaged和/etc/init.d/fdfs_tracker 两个脚本中的/usr/local/bin 修改成/usr/bin:
vim /etc/init.d/fdfs_trackerd
使用查找替换命令进统一修改:%s+/usr/local/bin+/usr/bin
vim /etc/init.d/fdfs_storaged
使用查找替换命令进统一修改:%s+/usr/local/bin+/usr/bin
注意: 以上操作无论是配置 tracker 还是配置 storage 都是必须的,而 tracker 和 storage 的区别主要是在安装完 fastdfs 之后的配置过程中。
1、复制tracker样例配置文件,并重命名
cp /etc/fdfs/tracker.conf.sample /etc/fdfs/tracker.conf
2、修改tracker配置文件
vim /etc/fdfs/tracker.conf
# 修改的内容如下:
disabled=false # 启用配置文件
port=22122 # tracker服务器端口(默认22122)
base_path=/fastdfs/tracker # 存储日志和数据的根目录
store_lookup=0 # 轮询方式上传
其它参数保留默认配置, 具体配置解释可参考官方文档说明:
http://bbs.chinaunix.net/thread-1941456-1-1.html
3、创建基础数据目录
mkdir -p /data/fastdfs/tracker
4、启动tracker服务器
/etc/init.d/fdfs_trackerd start
或者
systemctl start fdfs_trackerd
或者
fdfs_trackerd /etc/fdfs/tracker.conf start
初次启动,会在/data/fastdfs/tracker目录下生成logs、data两个目录。
drwxr-xr-x 2 root root 178 May 3 22:34 data
drwxr-xr-x 2 root root 26 May 2 18:57 logs
检查FastDFS Tracker Server是否启动成功:
ps aux | grep fdfs_trackerd
5、tracker server的关闭命令
/etc/init.d/fdfs_trackerd stop
或者
systemctl stop fdfs_trackerd
或者
fdfs_trackerd /etc/fdfs/tracker.conf stop
6、设置tracker server开机启动
chkconfig fdfs_trackerd on
1、复制storage样例配置文件,并重命名
cp /etc/fdfs/storage.conf.sample /etc/fdfs/storage.conf
2、修改storage配置文件
vim /etc/fdfs/storage.conf
# 修改的内容如下:
disabled=false # 启用配置文件
port=23000 # storage的端口号,同一个组的 storage 端口号必须相同
base_path=/data/fastdfs/storage # 存储日志和数据的根目录
store_path0=/data/fastdfs/storage # 第一个存储目录
store_path_count=1 #存储路径个数,需要和store_path个数匹配
tracker_server=192.168.0.121:22122 # tracker服务器的IP地址和端口
tracker_server=192.168.0.122:22122 # 多个tracker直接添加多条配置
配置group_name
不同分组配置不同group_name,第一组为group1, 第二组为group2
group_name=group1
group_name=group2
其它参数保留默认配置, 具体配置解释可参考官方文档说明:
http://bbs.chinaunix.net/thread-1941456-1-1.html
3、创建基础数据目录
mkdir -p /data/fastdfs/storage
4、启动storage服务器
/etc/init.d/fdfs_storaged start
或者
systemctl start fdfs_storaged
或者
fdfs_storaged /etc/fdfs/tracker.conf start
初次启动,会在/data/fastdfs/storage目录下生成logs、data两个目录。
drwxr-xr-x 259 root root 8192 May 3 23:06 data
drwxr-xr-x 2 root root 26 May 2 19:12 logs
检查FastDFS Tracker Server是否启动成功:
ps aux | grep fdfs_storaged
所有 Storage 节点都启动之后,可以在任一 Storage 节点上使用如下命令查看集群信息:
/usr/bin/fdfs_monitor /etc/fdfs/storage.conf
5、storage server的关闭命令
/etc/init.d/fdfs_storaged stop
或者
systemctl stop fdfs_storaged
或者
fdfs_storaged /etc/fdfs/tracker.conf stop
6、设置storage server开机启动
chkconfig fdfs_storaged on
1、修改Tracker服务器客户端配置文件
cp /etc/fdfs/client.conf.sample /etc/fdfs/client.conf
vim /etc/fdfs/client.conf
# 修改以下配置,其它保持默认
base_path=/data/fastdfs/tracker
tracker_server=192.168.0.121:22122 # tracker服务器IP和端口
tracker_server=192.168.0.122:22122 #tracker服务器IP2和端口
2、执行文件上传命令
#/root/test.png 是需要上传文件路径
/usr/bin/fdfs_upload_file /etc/fdfs/client.conf /root/test.png
返回文件ID号:group1/M00/00/00/wKgAfFzMX_2AB9V9AADa-k_GxyQ840.jpg
(能返回以上文件ID,说明文件已经上传成功)
1、fastdfs-nginx-module 作用说明
FastDFS 通过 Tracker 服务器,将文件放在 Storage 服务器存储, 但是同组存储服务器之间需要进入文件复制, 有同步延迟的问题。假设 Tracker 服务器将文件上传到了 192.168.50.137,上传成功后文件 ID已经返回给客户端。此时 FastDFS 存储集群机制会将这个文件同步到同组存储 192.168.50.138,在文件还没有复制完成的情况下,客户端如果用这个文件 ID 在 192.168.50.138 上取文件,就会出现文件无法访问的错误。而 fastdfs-nginx-module 可以重定向文件连接到源服务器取文件,避免客户端由于复制延迟导致的文件无法访问错误。(解压后的 fastdfs-nginx-module 在 nginx 安装时使用)
2、解压fastdfs-nginx-module_v1.16.tar.gz
cd /usr/local/src/
tar -zxvf fastdfs-nginx-module_v1.16.tar.gz
3、修改 fastdfs-nginx-module的config配置文件
cd fastdfs-nginx-module/src
vim config
将/usr/local/路径改为/usr/,或者直接执行命令:%s+/usr/local/+/usr/+g批量替换
4、安装nginx
yum install -y gcc gcc-c++ make automake autoconf libtool pcre pcre-devel zlib zlib-devel openssl openssl-devel
cd /usr/local/src/
tar -zxvf nginx-1.13.11.tar.gz
cd nginx-1.13.11
./configure --prefix=/usr/local/nginx --with-http_ssl_module --with-http_stub_status_module --with-pcre --with-http_realip_module --add-module=/usr/local/src/fastdfs-nginx-module/src
make && make install
5、复制 fastdfs-nginx-module 源码中的配置文件到 /etc/fdfs 目录,并修改
cp /usr/local/src/fastdfs-nginx-module/src/mod_fastdfs.conf /etc/fdfs/
vim /etc/fdfs/mod_fastdfs.conf
修改以下配置:
connect_timeout=10
base_path=/tmp
tracker_server=192.168.0.121:22122 # tracker服务器IP和端口
tracker_server=192.168.0.122:22122 # tracker服务器IP2和端口
group_name=group1 # 当前服务器的group名
url_have_group_name=true # url中包含group名称
store_path0=/data/fastdfs/storage # 存储路径
group_count=2 # 设置组的个数
#在最后添加
[group1]
group_name=group1
storage_server_port=23000
store_path_count=1
store_path0=/data/fastdfs/storage
[group2]
group_name=group2
storage_server_port=23000
store_path_count=1
store_path0=/data/fastdfs/storage
注意group_name的设置,如果是group1就设置为group1,如果是group2就设置为group2。
6、复制 FastDFS 的部分配置文件到 /etc/fdfs 目录
cd /usr/local/src/FastDFS/conf
cp http.conf mime.types /etc/fdfs/
7、配置 Nginx,简洁版nginx配置样例
user nobody;
worker_processes 1;
events {
worker_connections 1024;
}
http {
include mime.types;
default_type application/octet-stream;
sendfile on;
keepalive_timeout 65;
server {
listen 8888;
server_name localhost;
location ~/group[1-2]/M00 {
ngx_fastdfs_module;
}
error_page 500 502 503 504 /50x.html;
location = /50x.html {
root html;
}
}
}
说明:
A、8888 端口值是要与/etc/fdfs/storage.conf中的 http.server_port=8888 相对应,因为 http.server_port 默认为 8888,如果想改成 80,则要对应修改过来。
B、Storage 对应有多个 group 的情况下,访问路径带 group 名,如/group1/M00/00/00/xxx,对应的 Nginx 配置为:
location ~/group([0-9])/M00 {
ngx_fastdfs_module;
}
C、如查下载时如发现老报 404,将 nginx.conf 第一行 user nobody 修改为 user root 后重新启动。
8、启动Nginx
/usr/local/nginx/sbin/nginx
9、通过浏览器访问测试时上传的文件
http://192.168.0.123:8888/group1/M00/00/00/wKgAfFzMX_2AB9V9AADa-k_GxyQ840.jpg
http://192.168.0.124:8888/group1/M00/00/00/wKgAfFzMX_2AB9V9AADa-k_GxyQ840.jpg
1、 在 tracker 上安装的 nginx 主要为了提供 http 访问的反向代理、负载均衡以及缓存服务
2、安装nginx,加入ngx_cache_purge(加入缓存模块)
yum install -y gcc gcc-c++ make automake autoconf libtool pcre pcre-devel zlib zlib-devel openssl openssl-devel
cd /usr/local/src/
tar -zxvf nginx-1.13.11.tar.gz
tar -zxvf ngx_cache_purge-2.3.tar.gz
cd nginx-1.13.11
./configure --prefix=/usr/local/nginx --with-http_ssl_module --with-http_stub_status_module --with-pcre --with-http_realip_module --add-module=/usr/local/src/ngx_cache_purge-2.3
make && make install
3、配置nginx负载均衡和缓存
user root;
worker_processes 1;
#error_log logs/error.log;
#error_log logs/error.log notice;
#error_log logs/error.log info;
#pid logs/nginx.pid;
events {
worker_connections 1024;
use epoll;
}
http {
include mime.types;
default_type application/octet-stream;
#log_format main '$remote_addr - $remote_user [$time_local] "$request" '
# '$status $body_bytes_sent "$http_referer" '
# '"$http_user_agent" "$http_x_forwarded_for"';
#access_log logs/access.log main;
sendfile on;
tcp_nopush on;
#keepalive_timeout 0;
keepalive_timeout 65;
#gzip on;
#设置缓存
server_names_hash_bucket_size 128;
client_header_buffer_size 32k;
large_client_header_buffers 4 32k;
client_max_body_size 300m;
proxy_redirect off;
proxy_set_header Host $http_host;
proxy_set_header X-Real-IP $remote_addr;
proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
proxy_connect_timeout 90;
proxy_send_timeout 90;
proxy_read_timeout 90;
proxy_buffer_size 16k;
proxy_buffers 4 64k;
proxy_busy_buffers_size 128k;
proxy_temp_file_write_size 128k;
#设置缓存存储路径、存储方式、分配内存大小、磁盘最大空间、缓存期限
proxy_cache_path /data/fastdfs/cache/nginx/proxy_cache levels=1:2 keys_zone=http-cache:200m max_size=1g inactive=30d;
proxy_temp_path /data/fastdfs/cache/nginx/proxy_cache/tmp;
#设置 group1 的服务器
upstream fdfs_group1 {
server 192.168.0.123:8888 weight=1 max_fails=2 fail_timeout=30s;
server 192.168.0.124:8888 weight=1 max_fails=2 fail_timeout=30s;
}
#设置 group2 的服务器
upstream fdfs_group2 {
server 192.168.0.125:8888 weight=1 max_fails=2 fail_timeout=30s;
server 192.168.0.126:8888 weight=1 max_fails=2 fail_timeout=30s;
}
server {
listen 8000;
server_name localhost;
#charset koi8-r;
#access_log logs/host.access.log main;
#设置 group 的负载均衡参数
location /group1/M00 {
proxy_next_upstream http_502 http_504 error timeout invalid_header;
proxy_cache http-cache;
proxy_cache_valid 200 304 12h;
proxy_cache_key $uri$is_args$args;
proxy_pass http://fdfs_group1;
expires 30d;
}
location /group2/M00 {
proxy_next_upstream http_502 http_504 error timeout invalid_header;
proxy_cache http-cache;
proxy_cache_valid 200 304 12h;
proxy_cache_key $uri$is_args$args;
proxy_pass http://fdfs_group2;
expires 30d;
}
#设置清除缓存的访问权限
location ~/purge(/.*) {
allow 127.0.0.1;
allow 192.168.0.0/24;
deny all;
proxy_cache_purge http-cache $1$is_args$args;
}
#error_page 404 /404.html;
# redirect server error pages to the static page /50x.html
#
error_page 500 502 503 504 /50x.html;
location = /50x.html {
root html;
}
}
}
按以上 nginx 配置文件的要求,创建对应的缓存目录:
mkdir -p /data/fastdfs/cache/nginx/proxy_cache
mkdir -p /data/fastdfs/cache/nginx/proxy_cache/tmp
4、启动Nginx
/usr/local/nginx/sbin/nginx
5、文件访问测试
前面直接通过访问Storage节点中的Nginx来访问文件
http://192.168.0.123:8888/group1/M00/00/00/wKgAfFzMX_2AB9V9AADa-k_GxyQ840.jpg
http://192.168.0.124:8888/group1/M00/00/00/wKgAfFzMX_2AB9V9AADa-k_GxyQ840.jpg
现在可以通过Tracker中的Nginx来进行访问
1)通过Tracker1中的Nginx来访问
http://192.168.0.121:8000/group1/M00/00/00/wKgAfFzMX_2AB9V9AADa-k_GxyQ840.jpg
2)通过Tracker2中的Nginx来访问
http://192.168.0.122:8000/group1/M00/00/00/wKgAfFzMX_2AB9V9AADa-k_GxyQ840.jpg
由上面的文件访问效果可以看到,每一个 Tracker 中的 Nginx 都单独对后端的 Storage 组做了负载均衡,但整套FastDFS集群如果想对外提供统一的文件访问地址,还需要对两个Tracker中的Nginx进行HA集群。
上面说到了,现在的文件访问时通过192.168.0.121:8000或者192.168.0.122:8000来实现的,这样并未实现访问文件的高可用。
1、如果是在阿里云的ECS上搭建FastDFS集群(或者其他云平台)
如果是在阿里云上,那非常简单,直接用SLB(或者类似负载均衡)代理到两台Tracker服务器上就行。
2、内网环境搭建FastDFS集群
我们需要在内网环境中再搭建两套Nginx+Keepalived服务,用一个VIP实现高可用。具体实现比较简单,这边不在赘述。
参考文章:
https://blog.csdn.net/l1028386804/article/details/72803681
https://www.jianshu.com/p/171d3169aaeb