内容要点

FastDFS简介

FastDFS搭建

FastDFS常用命令

一、简介:

1、FastDFS是一个开源的轻量级分布式文件系统,它对文件进行管理,功能包括:文件存储、文件同步、文件访问(文件上传、文件下载)等,解决了大容量存储和负载均衡的问题。特别适合以文件为载体的在线服务,如相册网站、视频网站等等。

2、FastDFS为互联网量身定制,充分考虑了冗余备份、负载均衡、线性扩容等机制,并注重高可用、高性能等指标,使用FastDFS很容易搭建一套高性能的文件服务器集群提供文件上传、下载等服务。

3、FastDFS服务端有两个角色:

(1)跟踪器(tracker):跟踪器主要做调度工作;
(2)存储节点(storage):在访问上起负载均衡的作用。

存储节点存储文件,完成文件管理的所有功能:就是这样的存储、同步和提供存取接口,FastDFS同时对文件的metadata进行管理。所谓文件的meta data就是文件的相关属性,以键值对(key value)方式表示。

4、为了支持大容量,存储节点(服务器)采用了分卷(或分组)的组织方式。存储系统由一个或多个卷组成,卷与卷之间的文件是相互独立的,所有卷的文件容量累加就是整个存储系统中的文件容量。一个卷可以由一台或多台存储服务器组成,一个卷下的存储服务器中的文件都是相同的,卷中的多台存储服务器起到了冗余备份和负载均衡的作用。

(1)在卷中增加服务器时,同步已有的文件由系统自动完成,同步完成后,系统自动将新增服务器切换到线上提供服务;

(2)当存储空间不足或即将耗尽时,可以动态添加卷。只需要增加一台或多台服务器,并将它们配置为一个新的卷,这样就扩大了存储系统的容量;

(3)FastDFS中的文件标识分为两个部分:卷名和文件名,二者缺一不可。

二、搭建 FastDFS:

准备两台虚拟机,一台为 DFS端,一台为 storage端。
主机名 IP地址 主要软件
tracker 192.168.50.139 libfastcommon、fastd
storage 192.168.50.140 libfastcommon

第一步:安装 libfastcommon(所有节点都需要)

1、安装环境包:

yum -y install libevent  libevent-devel perl  make gcc zlib  zlib-devel pcre pcre-devel  gcc-c++  openssl-devel

2、安装libfastcommon:

wget https://github.com/happyfish100/libfastcommon/archive/V1.0.38.tar.gz

tar zxf V1.0.38.tar.gz -C /opt/
cd /opt/libfastcommon-1.0.38/
./make.sh && ./make.sh install

3、创建软连接:

ln -s /usr/lib64/libfastcommon.so /usr/local/lib/libfastcommon.so
ln -s /usr/lib64/libfdfsclient.so /usr/local/lib/libfdfsclient.so
ln -s /usr/lib64/libfdfsclient.so /usr/lib/libfdfsclient.so

第二步:安装 FastDFS:

wget https://github.com/happyfish100/fastdfs/archive/V5.11.tar.gz

tar zxf V5.11.tar.gz -C /opt/
cd /opt/fastdfs-5.11/
./make.sh && ./make.sh install

[root@localhost fdfs]# ls
client.conf.sample       //客户端上传配置文件(模板)
storage.conf.sample      //文件存储服务器配置文件(模板)
tracker.conf.sample      //负责均衡调度服务器配置文件(模板)

复制配置文件:
cp tracker.conf.sample tracker.conf
cp storage.conf.sample storage.conf
cp client.conf.sample client.conf

第三步:tracker 端修改

1、tracker监控端(可以有多个),建立数据、日志存放目录:

mkdir -m 755 -p /opt/fastdfs

2、修改 tracker配置文件:

vim /etc/fdfs/tracker.conf
增改以下内容:
port=22122 
base_path=/opt/fastdfs       //tracker存储data和log的跟路径,必须提前创建好
http.server_port=8080        //tracker服务器上启动http服务进程(没装忽略)

3、开启服务:

fdfs_trackerd /etc/fdfs/tracker.conf start   //启动服务
netstat -atnp | grep 22122       //查看端口是否正常开启
tcp        0      0 0.0.0.0:22122           0.0.0.0:*               LISTEN      43776/fdfs_trackerd

4、设置开启自启动:

vim  /etc/rc.local
#末行添加:
fdfs_trackerd   /etc/fdfs/tracker.conf start

第四步:storage 端修改

#storage数据存储端(可以有多个)
#建立数据、日志存放目录
mkdir -m 777 -p /opt/fastdfs

#修改storage配置文件
vim /etc/fdfs/storage.conf
group_name=group1          #默认组名,根据实际情况修改
port=23000                 #storge默认23000,同一个组的storage端口号必须一致
base_path=/opt/fastdfs     #storage日志文件的根路径
store_path_count=1          #与下面路径个数相同,默认为1
store_path0=/opt/fastdfs        #提供的存储路径(默认与日志文件存放在一起)
tracker_server=192.168.50.140:22122      #自己的tracker服务器IP(重点!!!)
http.server_port=80(http访问文件的端口默认为8888,nginx中配置的监听端口保持一致)

#开启服务
fdfs_storaged  /etc/fdfs/storage.conf start
netstat -atnp | grep 23000
tcp        0      0 0.0.0.0:23000           0.0.0.0:*               LISTEN      40430/fdfs_storaged

#开机自启tracker
vim  /etc/rc.local
#末行添加
fdfs_storaged  /etc/fdfs/storage.conf start 

#检查是否与tracker关联成功
fdfs_monitor /etc/fdfs/storage.conf
Storage 1:
                id = 192.168.50.140
                ip_addr = 192.168.50.140 (storage)  ACTIVE

第五步:storage 端安装 nginx

#解压nginx安装包
tar zxf nginx-1.12.0.tar.gz -C /opt/

#下载fastdfs-nginx-module安装包
wget https://github.com/happyfish100/fastdfs-nginx-module/archive/V1.20.tar.gz
tar zxf V1.20.tar.gz -C /opt/

#编译安装nginx
./configure \
--prefix=/usr/local/nginx \
--add-module=/opt/fastdfs-nginx-module-1.20/src/        #fastdfs-nginx-module模块

make && make instal

l

第六步:配置 Nginx 和 fastdfs-nginx-module 模块

cd fastdfs-nginx-module-1.20/src

cp mod_fastdfs.conf /etc/fdfs/

#修改fastdfs-nginx-module模块配置文件mod-fasts.conf
vim mod_fastdfs.conf
base_path=/opt/fastdfs         #存放数据文件、日志的路径
tracker_server=192.168.50.140:22122    #tracker端的地址(重点!!!)
url_have_group_name = true  #url是否包含group名称
storage_server_port=23000 #需要和storage配置的相同
store_path_count=1  #存储路径个数,需要和store_path个数匹配
store_path0=/opt/fastdfs #文件存储的位置

#修改nginx配置文件
vim /usr/local/nginx/conf/nginx.conf
#空行处添加
location ~/M00 {
                root /opt/fastdfs/data;
                ngx_fastdfs_module;
}

#拷贝fastdfs解压目录中的http.conf和mime.types
cd /opt/fastdfs-5.11/conf/

cp mime.types http.conf /etc/fdfs/

三、FastDFS 常用命令:

1、上传文件:

/usr/bin/fdfs_upload_file   

2、下载文件:

/usr/bin/fdfs_download_file   [local_filename]

3、删除文件:

/usr/bin/fdfs_delete_file