2022-11-05_fastdfs分布式文件系统环境搭建学习笔记.md

20221105_fastdfs分布式文件系统环境搭建学习笔记.md

1概述

FastDFS是一个由C语言实现的开源的轻量级分布式文件系统,它对文件进行管理,功能包括:文件存储,文件同步,文件访问(文件上传,下载)等;解决了大容量存储和负载均衡的问题。特别适合以文件为载体的在线服务。如相册网站,视频网站等等。

FastDFS为互联网量身定制,充分考虑了冗余备份、负载均衡、线性扩容等机制,并注重高可用、高性能等指标,使用FastDFS很容易搭建一套高性能的文件服务器集群提供文件上传、下载等服务。

同类的分布式文件还有谷歌的GFS,HDFS(Hadoop),TFS(淘宝)。

fastdfs默认的端口有三个8888,23000,22122,分别解释一下:

8888是默认的nginx代理端口,22122是tracker服务端口,23000是storage服务端口。

目前最新版本:fastdfs:v6.09(作者新作:FastCFS:v3.6.3),本文基于阿里云服务器(Ubuntu 5.4.0-6ubuntu1~16.04.12)进行安装:

libfastcommon-1.0.7.tar.gz:FastDFS分离出的一些公用函数包,

fastdfs-5.05.tar.gz:FastDFS本体,

fastdfs-nginx-module-1.20.tar.gz:FastDFS和nginx的关联模块。

1.1FastDFS

FastDFS有两个角色:Tracker(跟踪器),Storage(存储节点)

1.1.1Tracker(跟踪器)

Tracker:主要做调度作用,起到负载均衡的作用;负责管理所有的Storage和Group,每一个Storage再启动后会连接Tracker,告知自己所属的Group,并保持周期心跳

1.1.2Storage(存储节点)

Storage:存储节点,主要提供容量和备份服务;以Group为单位,每个Group内可以有多台Storage,数据互相备份。

1.1.3配置云服务器端口

[图片上传失败...(image-f8c54f-1667704718354)]

1.2具体安装步骤

注:一定要先启动Tracker,在启动Storage

注:如果Tracker和Storage是配置在不同的服务器上,那么基础环境要在两个服务器上都安装。

1.2.1安装libfastcommon

# 1.创建根目录
mkdir /study/data/fastdfs
# 2.下载
wget https://github.com/happyfish100/libfastcommon/archive/V1.0.7.tar.gz
# 3.解压缩
tar -xvf V1.0.7.tar.gz`
cd libfastcommon-1.0.7
# 4.编译安装
./make.sh
./make.sh install
# 5.设置软连接
ln -s /usr/lib64/libfastcommon.so /usr/local/lib/libfastcommon.so
ln -s /usr/lib64/libfastcommon.so /usr/lib/libfastcommon.so
ln -s /usr/lib64/libfdfsclient.so /usr/local/lib/libfdfsclient.so
ln -s /usr/lib64/libfdfsclient.so /usr/lib/libfdfsclient.so

1.2.2安装FastDFS(5.11)

# 1.下载
wget https://github.com/happyfish100/fastdfs/archive/V5.05.tar.gz
# 2.解压缩
tar -xvf V5.05.tar.gz
cd fastdfs-5.05/
# 3.编译、安装(生成/etc/fdfs目录)
./make.sh 
./make.sh install

[图片上传失败...(image-6c00a7-1667704718355)]

1.2.3配置tracker(端口:22122和80)

# 配置Tracker服务
cd /etc/fdfs
cp tracker.conf.sample tracker.conf
vi tracker.conf

1.2.3.1编辑tracker.conf

# 配置文件是否不生效,false 为生效
disabled=false
# 提供服务的端口
port=22122
# Tracker 数据和日志目录地址
base_path=/study/data/fastdfs/tracker
# HTTP 服务端口(8080-->80)
http.server_port=80

1.2.3.2使用ln -s 建立软链接

ln -s /usr/bin/fdfs_trackerd /usr/local/bin
ln -s /usr/bin/stop.sh /usr/local/bin
ln -s /usr/bin/restart.sh /usr/local/bin

1.2.3.3启动服务

service fdfs_trackerd start
service fdfs_trackerd stop
service fdfs_trackerd restart
// https://blog.csdn.net/qq_43055565/article/details/103167171
root@yhm:/usr/local/bin# service fdfs_trackerd start
Failed to start fdfs_trackerd.service: Unit fdfs_trackerd.service not found.

1.2.3.4查看监听

# 查看监听
netstat -unltp|grep fdfs
如果提示Failed to start fdfs_trackerd.service: Unit fdfs_trackerd.service not found.错误、
则可以通过
/usr/bin/fdfs_trackerd /etc/fdfs/tracker.conf start
和
/usr/bin/fdfs_storaged /etc/fdfs/storage.conf start
命令启动tracker和storage服务、启动完成之后通过ps aux | grep fdfs命令查看tracker和storage进程。

1.2.4配置storage(端口:23000和8888)

1.2.4.1创建配置文件

[图片上传失败...(image-5eeae3-1667704718355)]

进入/etc/fdfs目录,复制FastDFS存储器样例配置文件storage.conf.sample,并重命名为storage.conf

# cd /etc/fdfs
# cp storage.conf.sample storage.conf
# vi storage.conf

1.2.4.2编辑Storage

# 配置文件是否不生效,false 为生效
disabled=false
# 指定此 storage server 所在 组(卷),这里为:group1
group_name=group1
# storage server 服务端口
port=23000
# 心跳间隔时间,单位为秒 (这里是指主动向 tracker server 发送心跳)
heart_beat_interval=30
# Storage 数据和日志目录地址(根目录必须存在,子目录会自动生成)
base_path=/study/data/fastdfs/storage
# 存放文件时 storage server 支持多个路径。这里配置存放文件的基路径数目,通常只配一个目录。
store_path_count=1
# 逐一配置 store_path_count 个路径,索引号基于 0。
# 如果不配置 store_path0,那它就和 base_path 对应的路径一样。
store_path0=/study/data/fastdfs/storage
# FastDFS 存储文件时,采用了两级目录。这里配置存放文件的目录个数。 
# 如果本参数只为 N(如: 256),那么 storage server 在初次运行时,会在 store_path 下自动创建 N * N 个存放文件的子目录。
subdir_count_per_path=256
# tracker_server 的列表 ,会主动连接 tracker_server
# 有多个 tracker server 时,每个 tracker server 写一行 公网访问需要配置公网IP
tracker_server=139.196.243.11:22122
# 允许系统同步的时间段 (默认是全天) 。一般用于避免高峰同步产生一些问题而设定。
sync_start_time=00:00
sync_end_time=23:59

# the port of the web server on this storage server
http.server_port=80

1.2.4.3使用ln -s 建立软链接

ln -s /usr/bin/fdfs_storaged /usr/local/bin

1.2.4.4启动服务

service fdfs_storaged start
service fdfs_storaged stop
service fdfs_storaged restart

1.2.4.5查看监听

netstat -unltp|grep fdfs

1.2.5验证

[图片上传失败...(image-16ac16-1667704718355)]

[图片上传失败...(image-b3ed27-1667704718355)]

[图片上传失败...(image-b70276-1667704718355)]

查看StorageTracker是否在通信

/usr/bin/fdfs_monitor /etc/fdfs/storage.conf

1.2.5.1上传文件

root@yhm:/study/deploy# fdfs_upload_file /etc/fdfs/client.conf myfirstdfs.txt 
# 要上传的图片文件路径。如果返回类似
group1/M00/00/00/rBokeGNmN9eAWxemAAAAGMsjemE397.txt

1.2.5.2验证本地文件

root@yhm:/study/data/fastdfs/storage/data/00# find /study/data -name rBokeGNmN9eAWxemAAAAGMsjemE397.txt
/study/data/fastdfs/storage/data/00/00/rBokeGNmN9eAWxemAAAAGMsjemE397.txt

参考

1一篇文章搞懂FastDfs(全是干货,建议收藏)

https://blog.csdn.net/qq_38446413/article/details/106299429

http://doc.ruoyi.vip/ruoyi-cloud/cloud/file.html#%E9%85%8D%E7%BD%AEnginx(OK)

2分布式文件

http://doc.ruoyi.vip/ruoyi-cloud/cloud/file.html

https://gitee.com/y_project/RuoYi-Cloud ruoyi-file

3ubuntu安装fastDFS

https://blog.csdn.net/yyn1019/article/details/114981841

https://zhuanlan.zhihu.com/p/29133587

4官网

官方网站:https://github.com/happyfish100/

配置文档:https://github.com/happyfish100/fastdfs/wiki/

参考资料:https://www.oschina.net/question/tag/fastdfs

Java客户端:https://github.com/happyfish100/fastdfs-client-java

你可能感兴趣的:(2022-11-05_fastdfs分布式文件系统环境搭建学习笔记.md)