MFS网络分布式文件系统--基本功能的实现

1.实验环境：rhel7.3虚拟机

master：172.25.61.1
masterlogger：172.25.61.2
chunk1：172.25.61.3
chunk2：172.25.61.4
client：172.25.61.250

2.master:

进入MFS官网，有标准教程：https://moosefs.com/download/#current
首先要确保本机能连通外部网络，然后添加密钥：
curl “https://ppa.moosefs.com/RPM-GPG-KEY-MooseFS” > /etc/pki/rpm-gpg/RPM-GPG-KEY-MooseFS
添加yum源：
curl “http://ppa.moosefs.com/MooseFS-3-el7.repo” > /etc/yum.repos.d/MooseFS.repo
下载并安装软件包：
yum install moosefs-master moosefs-cgi moosefs-cgiserv moosefs-cli -y
在server1上添加DNS解析：

[root@server1 ~]# vim /etc/hosts

查看mfs master节点的配置文件并且开启服务：

[root@server1 ~]# cd /usr/local/
bin/     etc/     games/   include/ lib/     lib64/   libexec/ sbin/    share/   src/     
[root@server1 ~]# cd /etc/mfs/
[root@server1 mfs]# ls
mfsexports.cfg         mfsmaster.cfg         mfstopology.cfg
mfsexports.cfg.sample  mfsmaster.cfg.sample  mfstopology.cfg.sample
[root@server1 mfs]# systemctl start moosefs-master

查看server1上开启的端口：

[root@server1 mfs]# netstat -antlp | grep mfsmaster
tcp        0      0 0.0.0.0:9419            0.0.0.0:*               LISTEN      10006/mfsmaster     
tcp        0      0 0.0.0.0:9420            0.0.0.0:*               LISTEN      10006/mfsmaster     
tcp        0      0 0.0.0.0:9421            0.0.0.0:*               LISTEN      10006/mfsmaster     

mfs master开启了三个端口:9419,9420,9421
metalogger监听的端口地址 （默认是9419）
用于chunkserver连接的端口地址 （默认是9420）
用于客户端挂接连接的端口地址 （默认是4921）
在server1上开启mfs cgi：
开启了端口9425，这个是监控各个分布节点的端口

[root@server1 mfs]# systemctl start moosefs-cgiserv
[root@server1 mfs]# netstat -antlp | grep mfsmaster
tcp        0      0 0.0.0.0:9419            0.0.0.0:*               LISTEN      10006/mfsmaster     
tcp        0      0 0.0.0.0:9420            0.0.0.0:*               LISTEN      10006/mfsmaster     
tcp        0      0 0.0.0.0:9421            0.0.0.0:*               LISTEN      10006/mfsmaster     
[root@server1 mfs]# netstat -antlp | grep python
tcp        0      0 0.0.0.0:9425            0.0.0.0:*               LISTEN      14385/python2       

在浏览器访问172.25.61.1：9425，可以看到分布式文件系统的监控页面，
如果不能出现完整的监控页面，可能是由于上述步骤中没有添加DNS解析
途中红框输入DNS解析的名字，然后点击Try it!
正常的监控页面：
想监控哪一个项目，点击+即可

3.chunk servers:

首先要确保本机能连通外部网络，然后添加密钥：
curl “https://ppa.moosefs.com/RPM-GPG-KEY-MooseFS” > /etc/pki/rpm-gpg/RPM-GPG-KEY-MooseFS
添加yum源：
curl “http://ppa.moosefs.com/MooseFS-3-el7.repo” > /etc/yum.repos.d/MooseFS.repo
下载并安装软件包：
yum install moosefs-chunkserver -y
安装完之后会在这两个结点生成一个mfs用户：

[root@server3 ~]# cat /etc/passwd | grep mfs
mfs:x:996:994:MooseFS:/var/lib/mfs:/sbin/nologin

[root@server4 ~]# cat /etc/passwd | grep mfs
mfs:x:997:995:MooseFS:/var/lib/mfs:/sbin/nologin

接下来就可以做一些测试了：
用Chunk1上的一个目录做实验，在/mnt下创建一个新目录：

[root@server3 ~]# cd /mnt
[root@server3 mnt]# ls
[root@server3 mnt]# mkdir chunk

修改它的权限为mfs：

[root@server3 mnt]# ll
total 0
drwxr-xr-x 2 root root 6 Dec 21 02:36 chunk
[root@server3 mnt]# chown mfs.mfs chunk
[root@server3 mnt]# ll
total 0
drwxr-xr-x 2 mfs mfs 6 Dec 21 02:36 chunk

在Chunk1和Chunk2上都添加DNS解析：

[root@server3 mnt]# vim /etc/hosts

[root@server4 ~]# vim /etc/hosts

编辑Chunk1上的配置文件

[root@server3 mnt]# cd /etc/mfs/
[root@server3 mfs]# ls
mfschunkserver.cfg  mfschunkserver.cfg.sample  mfshdd.cfg  mfshdd.cfg.sample
[root@server3 mfs]# vim mfshdd.cfg

写入存储数据的目录:

开启服务：

[root@server3 mfs]# systemctl start moosefs-chunkserver

开启服务之后会发现实验目录下会有256个目录：
在另一个Chunk server端执行相同的操作
在浏览器上查看，可以看到Chunk1的信息：
可以看出Chunk1通过server1的9420端口与server1进行交互

[root@server1 ~]# yum install lsof -y

4.client:

添加密钥：

curl "https://ppa.moosefs.com/RPM-GPG-KEY-MooseFS" > /etc/pki/rpm-gpg/RPM-GPG-KEY-MooseFS

添加yum源：

curl "http://ppa.moosefs.com/MooseFS-3-el7.repo" > /etc/yum.repos.d/MooseFS.repo

下载并安装软件包：

yum install moosefs-client -y

编写客户端的配置文件，将分布文件系统的数据目录挂在本地/mnt/mfs/目录上：

[root@foundation61 ~]# cd /etc/mfs/
[root@foundation61 mfs]# ls
mfsmount.cfg  mfsmount.cfg.sample
[root@foundation61 mfs]# vim mfsmount.cfg

在客户端做解析：

[root@foundation61 mfs]# vim /etc/hosts

建立挂载目录（注意必须是一个空目录），并且进行挂载

[root@foundation61 mnt]# ls
[root@foundation61 mnt]# mkdir mfs
[root@foundation61 mnt]# cd mfs/
[root@foundation61 mfs]# mfsmount
mfsmaster accepted connection with parameters: read-write,restricted_ip,admin ; root mapped to root:root
[root@foundation61 mfs]# df
Filesystem                         1K-blocks     Used Available Use% Mounted on
/dev/mapper/rhel_foundation61-root 129530068 28123464 101406604  22% /
devtmpfs                             1949124        0   1949124   0% /dev
tmpfs                                1963828    52552   1911276   3% /dev/shm
tmpfs                                1963828     9372   1954456   1% /run
tmpfs                                1963828        0   1963828   0% /sys/fs/cgroup
/dev/sda8                            1038336   137788    900548  14% /boot
/dev/sda1                              98304    34135     64169  35% /boot/efi
/dev/loop0                           3704296  3704296         0 100% /rhel7.1
/dev/loop1                           3704296  3704296         0 100% /var/www/html/rhel7.1
tmpfs                                 392768       12    392756   1% /run/user/1000
mfsmaster:9421                      17811456  1661952  16149504  10% /mnt/mfs