分布式文件系统——moosefs

一、分布式文件系统

解决冗余的问题，海量数据存储问题

分布式文件系统（Distributed File System）是指文件系统管理的物理存储资源不一定直接连接在本地节点上，而是通过计算机网络与节点相连。分布式文件系统的设计基于客户机/服务器模 式。一个典型的网络可能包括多个供多用户访问的服务器。另外，对等特性允许一些系统扮演客户机和服务器的双重角色。例如，用户可以“发表”一个允许其他客 户机访问的目录，一旦被访问，这个目录对客户机来说就像使用本地驱动器一样，下面是三个基本的分布式文件系统。

二、MooseFS文件系统介绍

MooseFS是一种分布式文件系统，MooseFS文件系统结构包括以下四种角色：

1 管理服务器managing server (master)

2 元数据日志服务器Metalogger server（Metalogger）

3数据存储服务器data servers (chunkservers)

4 客户机挂载使用client computers

三、各种角色作用

1 管理服务器:负责各个数据存储服务器的管理,文件读写调度,文件空间回收以及恢复.多节点拷贝

2 元数据日志服务器: 负责备份master服务器的变化

日志文件，文件类型为changelog_ml.*.mfs，以便于在master server出问题的时候接替其进行工作

3数据存储服务器:负责连接管理服务器,听从管理服务器调度,提供存储空间，并为客户提供数据传输.

4客户端: 通过fuse内核接口挂接远程管理服务器上所管理的数据存储服务器,.看起来共享的文件系统和本地unix文件系统使用一样的效果.

四、mfs配置

1. 安装：

[root@server1 3.0.103]# yum install -y moosefs-master-3.0.103-1.rhsystemd.x86_64.rpm moosefs-cgi-3.0.103-1.rhsystemd.x86_64.rpm moosefs-cgiserv-3.0.103-1.rhsystemd.x86_64.rpm moosefs-cli-3.0.103-1.rhsystemd.x86_64.rpm

2. 更改地址解析

172.25.60.1 server1 mfsmaster

3. 开启服务

[root@server1 3.0.103]# systemctl start moosefs-master
[root@server1 3.0.103]# systemctl start moosefs-cgiserv

4. 打开浏览器
http://172.25.60.1:9425/mfs.cgi

server2:
1.

[root@server2 ~]# ls
moosefs-chunkserver-3.0.103-1.rhsystemd.x86_64.rpm
[root@server2 ~]# rpm -ivh moosefs-chunkserver-3.0.103-1.rhsystemd.x86_64.rpm

2.
[root@server2 ~]# vim /etc/hosts
172.25.60.1 server1 mfsmaster

3. 添加一个虚拟的硬盘

划一个主分区：

fdisk -l
fdisk /dev/vda
mkfs.xfs /dev/vda1

mkdir /mnt/chunk1
mount /dev/vda1 /mnt/chunk1/
vim /etc/mfs/mfshdd.cfg
# /mnt/chunk1
chown mfs.mfs /mnt/chunk1/

4. 开启chunkserver

systemctl start moosefs-chunkserver
df
[root@server2 ~]# netstat -atnlp
tcp        0      0 0.0.0.0:9422            0.0.0.0:*               LISTEN      10453/mfschunkserve

5. 刷新浏览器

#server3：

[root@foundation60 3.0.103]# yum install -y moosefs-client-3.0.103-1.rhsystemd.x86_64.rpm
[root@server3 ~]# mkdir /mnt/chunk2
[root@server3 ~]# chown mfs.mfs /mnt/chunk2/
[root@server3 ~]# vim /etc/mfs/mfshdd.cfg
/mnt/chunk2

[root@server3 ~]# vim /etc/hosts
172.25.60.1 server1 mfsmaster

[root@server3 ~]# systemctl start moosefs-chunkserver
[root@server3 ~]# netstat -antpl
tcp        0      0 0.0.0.0:9422            0.0.0.0:*               LISTEN      10410/mfschunkserve

 

#真机（客户端）：
 

[root@foundation60 3.0.103]# yum install -y moosefs-client-3.0.103-1.rhsystemd.x86_64.rpm

[root@foundation60 3.0.103]# vim /etc/mfs/mfsmount.cfg
/mnt/mfs

[root@foundation60 3.0.103]# mkdir /mnt/mfs
[root@foundation60 3.0.103]# ll -d /mnt/mfs
[root@foundation60 3.0.103]# ls /mnt/mfs  #目录下必须为空
[root@foundation60 3.0.103]# mfsmount

[root@foundation60 3.0.103]# vim /etc/hosts
172.25.60.1 mfsmaster

[root@foundation60 3.0.103]# df
mfsmaster:9421  38771712  1627840  37143872   5% /mnt/mfs

刷新浏览器