FastDFS简介及安装部署(CentOS7)

目录

一、分布式文件系统

二、FastDFS简介

三、FastDFS整体架构

四、FastDFS安装

1.检查Linux上是否安装了 gcc、libevent、libevent-devel

2.如果没有安装,则需进行安装

3. 安装 libfastcommon 库

4.安装FastDFS

5.查看安装后的结果

6.拷贝配置文件 

 五、FastDFS配置

1.去掉/etc/fdfs/目录下FastDFS配置文件的后缀名

 2.修改tracker.conf配置(base_path=/opt/fastdfs/tracker)

3.修改storage.conf文件

 4.创建所有必须的目录

六、启动FastDFS 

 七、重启

 八、关闭

九、测试案例

1.首先修改client.conf里面的配置文件(参考:五、FastDFS配置)

2.准备一个测试文件

 3.执行上传命令

 4.切换到存储目录查看文件上传情况

 5.删除文件


一、分布式文件系统

分布式文件系统 (Distributed File System) 是一个软件/软件服务器,这个软件可以用来管理文件。但这个软件所管理的文件通常不是在一个服务器节点上,而是在多个服务器节点上,这些服务器节点通过网络相连构成一个庞大的文件存储服务器集群,这些服务器都用于存储文件资源,通过分布式文件系统来管理这些服务器上的文件。

常见的分布式文件系统有:FastDFS、GFS、HDFS、Lustre 、Ceph 、GridFS 、mogileFS、TFS等。分布式文件系统与传统文件系统对比:

FastDFS简介及安装部署(CentOS7)_第1张图片

传统方式弊端:如果用户数量多,IO操作比较多,对磁盘访问压力很大,如果磁盘发生故障,会造成数据丢失,存储容量有限。

二、FastDFS简介

FastDFS是一个开源的轻量级分布式文件系统,为互联网应用量身定做,简单、灵活、高效,采用C语言开发,由阿里巴巴开发并开源。

FastDFS对文件进行管理,功能包括:文件存储、文件同步、文件访问(文件上传、文件下载、文件删除)等,解决了大容量文件存储的问题,特别适合以文件为载体的在线服务,如相册网站、文档网站、图片网站、视频网站等等。FastDFS充分考虑了冗余备份线性扩容等机制,并注重高可用、高性能等指标,使用FastDFS很容易搭建一套高性能的文件服务器集群提供文件上传、下载等服务。

FastDFS系统架构从第一个版本发布后一直没有大的调整,高版本完全兼容低版本的数据,可以做到平滑升级,推荐更新升级到最新版本。FastDFS代码托管在github上:https://github.com/happyfish100/fastdfs 

三、FastDFS整体架构

FastDFS文件系统由两大部分构成,一个是客户端,一个是服务端。

1. 客户端通常指我们的程序,比如我们的Java程序去连接FastDFS、操作FastDFS,那我们的Java程序就是一个客户端,FastDFS提供专有API访问,目前提供了C、Java和PHP几种编程语言的API,用来访问FastDFS文件系统。

2. 服务端由两个部分构成:一个是跟踪器(tracker),一个是存储节点(storage)。跟踪器(tracker)主要做调度工作,在内存中记录集群中存储节点storage的状态信息,是前端Client和后端存储节点storage的枢纽。因为相关信息全部在内存中,Tracker server的性能非常高,一个较大的集群(比如上百个group)中有3台就足够了。存储节点(storage)用于存储文件,包括文件和文件属性(meta data)都保存到存储服务器磁盘上,完成文件管理的所有功能:文件存储、文件同步和提供文件访问等。

四、FastDFS安装

1.检查Linux上是否安装了 gcc、libevent、libevent-devel

yum list installed | grep gcc

yum list installed | grep libevent

yum list installed | grep libevent-devel

2.如果没有安装,则需进行安装

yum install gcc libevent libevent-devel -y

3. 安装 libfastcommon 库

libfastcommon 库是 FastDFS 文件系统运行需要的公共 C 语言函数库

注意:目前最新版本的v1.0.39和FastDFS5.11不兼容,这里使用的版本是v1.0.36

下载地址:https://github.com/happyfish100

将下载好的libfastcommon文件上传到Linux(/home/soft),并且解压tar.gz到当前目录:

tar -zxvf libfastcommon-1.0.36.tar.gz

切换到解压目录后执行make和make install安装:

cd libfastcommon-1.0.36

./make.sh

./make.sh install

4.安装FastDFS

FastDFS没有Windows版本,不能在Windows下使用。

FastDFS需要安装部署在Linux环境下,我们这里使用的是fastdfs-5.11版本(201901)

下载地址:https://github.com/happyfish100/fastdfs/archive/V5.11.tar.gz

 将下载好的FastDFS文件上传到Linux(/home/soft),并且解压tar.gz到当前目录:

tar -zxvf fastdfs-5.11.tar.gz

切换到解压目录后执行make和make install安装:

cd fastdfs-5.11

./make.sh

./make.sh install

FastDFS简介及安装部署(CentOS7)_第2张图片

至此FastDFS安装完成

所有编译出来的文件存放在/usr/bin目录下,所有配置文件存放在/etc/fdfs目录下

5.查看安装后的结果

   查看FastDFS相关的可执行程序

cd /usr/bin 

ll /usr/bin/fdfs*

FastDFS简介及安装部署(CentOS7)_第3张图片

    查看FastDFS配置文件

ll /etc/fdfs/

FastDFS简介及安装部署(CentOS7)_第4张图片

6.拷贝配置文件 

另外注意需要把解压后的fastdfs-5.11/conf目录下的两个文件拷贝到/etc/fdfs/ ,否则后续会有很多奇怪问题不好解决

FastDFS简介及安装部署(CentOS7)_第5张图片

cd /home/soft/fastdfs-5.11/conf

cp http.conf /etc/fdfs/

cp mime.types /etc/fdfs/

 五、FastDFS配置

1.去掉/etc/fdfs/目录下FastDFS配置文件的后缀名

FastDFS简介及安装部署(CentOS7)_第6张图片

 2.修改tracker.conf配置(base_path=/opt/fastdfs/tracker)

vim tracker.conf

FastDFS简介及安装部署(CentOS7)_第7张图片

3.修改storage.conf文件

base_path=/opt/fastdfs/storage                 #   storage存储数据目录

store_path0=/opt/fastdfs/storage/files        #  真正存放文件的目录

tracker_server=192.168.235.128:22122    #   注册当前存储节点的跟踪器地址

vim storage.conf

 

FastDFS简介及安装部署(CentOS7)_第8张图片

FastDFS简介及安装部署(CentOS7)_第9张图片

 4.创建所有必须的目录

/opt/fastdfs/tracker

/opt/fastdfs/storage

/opt/fastdfs/storage/files 

/opt/fastdfs/client

六、启动FastDFS 

fdfs_trackerd /etc/fdfs/tracker.conf      # 跟踪器启动

fdfs_storaged /etc/fdfs/storage.conf    # 存储节点启动

ps -ef | grep fdfs                                  # 查看进程 

fdfs_monitor /etc/fdfs/storage.conf      # 查看storage是否已经注册到了tracker下

FastDFS简介及安装部署(CentOS7)_第10张图片

FastDFS简介及安装部署(CentOS7)_第11张图片

 七、重启

fdfs_trackerd /etc/fdfs/tracker.conf restart

fdfs_storaged /etc/fdfs/storage.conf restart

FastDFS简介及安装部署(CentOS7)_第12张图片

 八、关闭

fdfs_trackerd /etc/fdfs/tracker.conf stop

fdfs_storaged /etc/fdfs/storage.conf stop

九、测试案例

1.首先修改client.conf里面的配置文件(参考:五、FastDFS配置)

base_path=/opt/fastdfs/client

tracker_server=192.168.119.129:22122

2.准备一个测试文件

FastDFS简介及安装部署(CentOS7)_第13张图片

 3.执行上传命令

fdfs_test /etc/fdfs/client.conf upload aa.txt

FastDFS简介及安装部署(CentOS7)_第14张图片

  • 没有搭建集群默认只有一个组group1  
  • 后缀名包含-m的为属性文件(meta)
  • 在Linux中并没有磁盘一说,是虚拟的

 4.切换到存储目录查看文件上传情况

cd /opt/fastdfs/storage/files/data/00/00/

FastDFS简介及安装部署(CentOS7)_第15张图片

 5.删除文件

fdfs_delete_file /etc/fdfs/client.conf group1/要删除的文件路径

FastDFS简介及安装部署(CentOS7)_第16张图片

你可能感兴趣的:(服务器,运维,FastDFS,dfs)