【简单认识GFS分布式文件系统】

---

一.GlusterFS 概述

1.GlusterFS简介

开源的分布式文件系统。
由存储服务器、客户端以及NFS/Samba 存储网关（可选，根据需要选择使用）组成。
没有元数据服务器组件，这有助于提升整个系统的性能、可靠性和稳定性。

2.特点

扩展性和高性能——分布式特性
高可用性——冗余、容灾的能力、单点故障
全局统一命名空间——独立空间
弹性卷管理——raid级别
基于标准协议——支持 NFS、CIFS、HTTP、FTP、SMB 及 Gluster原生协议，完全与 POSIX 标准（可移植操作系统接口）兼容。

3.GlusterFS 术语

Brick（存储块）

指可信主机池中由主机提供的用于物理存储的专用分区，是GlusterFS中的基本存储单元，同时也是可信存储池中服务器上对外提供的存储目录。
存储目录的格式由服务器和目录的绝对路径构成，表示方法为 SERVER:EXPORT，如 192.168.198.12:/data/mydir/。

Volume（逻辑卷）

一个逻辑卷是一组 Brick 的集合。卷是数据存储的逻辑设备，类似于 LVM 中的逻辑卷。大部分 Gluster 管理操作是在卷上进行的。

FUSE

是一个内核模块，允许用户创建自己的文件系统，无须修改内核代码。——伪文件系统

VFS

内核空间对用户空间提供的访问磁盘的接口。——虚拟端口

Glusterd（后台管理进程）

在存储群集中的每个节点上都要运行。——服务端

4.模块化堆栈式架构

GlusterFS 采用模块化、堆栈式的架构。
通过对模块进行各种组合，即可实现复杂的功能。例如 Replicate 模块可实现 RAID1，Stripe 模块可实现 RAID0， 通过两者的组合可实现 RAID10 和 RAID01，同时获得更高的性能及可靠性。

5.GlusterFS 的工作流程

GlusterFS 的工作原理
（1）客户端或应用程序通过 GlusterFS 的挂载点访问数据。
（2）linux系统内核通过 VFS API 收到请求并处理。
（3）VFS 将数据递交给 FUSE 内核文件系统，并向系统注册一个实际的文件系统 FUSE，而 FUSE 文件系统则是将数据通过 /dev/fuse 设备文件递交给了 GlusterFS client 端。可以将 FUSE 文件系统理解为一个代理。
（4）GlusterFS client 收到数据后，client 根据配置文件的配置对数据进行处理。
（5）经过 GlusterFS client 处理后，通过网络将数据传递至远端的 GlusterFS Server，并且将数据写入到服务器存储设备上。

GlusterFS 的工作流程图示

弹性 HASH 算法
通过 HASH 算法可以得到一个 32 位的整数范围的 hash 值，
划分为 N 个连续的子空间，每个空间对应一个 Brick。

弹性 HASH 算法的优点
保证数据平均分布在每一个 Brick 中。
解决了对元数据服务器的依赖，进而解决了单点故障以及访问瓶颈。

6.GlusterFS的卷类型

GlusterFS 支持七种卷，即分布式卷、条带卷、复制卷、分布式条带卷、分布式复制卷、条带复制卷和分布式条带复制卷。

1、分布式卷（Distribute volume）

分布式卷概念
（1）没有对文件进行分块处理
（2）通过扩展文件属性保存HASH值
（3）支持的底层文件系统有EXT3、EXT4.ZES、XFS等

分布式卷的特点
（1）文件分布在不同的服务器,不具备几余性
（2）更容易和廉价地扩展卷的大小
（3）单点故障会造成数据丢失
（4）依赖底层的数据保护

分布式卷原理
File1 和 File2 存放在 Server1，而 File3 存放在 Server2，文件都是随机存储，一个文件（如 File1）要么在 Server1 上，要么在 Server2 上，不能分块同时存放在 Server1和 Server2 上。

创建分布式卷方式
创建一个名为dis-volume的分布式卷，文件将根据HASH分布在server1:/dir1、server2:/dir2和server3:/dir3中

gluster volume create dis-volume server1:/dir1 server2:/dir2 server3:/dir3
1

2、条带卷（Stripe volume）

条带卷概念
（1）根据偏移量将文件分成N块 (N个条带节点)，轮询的存储在每个Brick Server节点
（2）存储大文件时，性能尤为突出
（3）不具备元余性，类似Raid0

条带卷特点
（1）数据被分割成更小块分布到块服务器群中的不同条带区。
（2）分布减少了负载且更小的文件加速了存取的速度。
（3）没有数据冗余。

条带卷原理
File 被分割为 6 段，1、3、5 放在 Server1，2、4、6 放在 Server2。

创建条带卷方式
创建了一个名为stripe-volume的条带卷，文件将被分块轮询的存储在Server1:/dir1和Server2:/dir2两个Brick中

gluster volume create stripe-volume stripe 2 transport tcp server1:/dir1 server2:/dir2
1

3、复制卷（Replica volume）

复制卷概念
（1）同一文件保存一份或多分副本

（2）因为要保存副本，所以磁盘利用率较低

（3）若多个节点土的存储空间不一致，将按照木桶效应取最低节点的容量作为该卷的总容量

复制卷特点
（1）卷中所有的服务器均保存一个完整的副本。
（2）卷的副本数量可由客户创建的时候决定，但复制数必须等于卷中 Brick 所包含的存储服务器数。
（3）至少由两个块服务器或更多服务器。
（4）具备冗余性。

复制卷原理
File1 同时存在 Server1 和 Server2，File2 也是如此，相当于 Server2 中的文件是 Server1 中文件的副本。

创建复制卷方式
创建名为rep-volume的复制卷，文件将同时存储两个副本，分别在Server1:/dir1和Server2:/dir2两个Brick中

gluster volume create rep-volume replica 2 transport tcp server1:/dir1 server2:/dir2
1

4、 分布式条带卷（Distribute Stripe volume）

分布式条带卷概念
（1）Brick Server 数量是条带数（数据块分布的 Brick 数量）的倍数，兼具分布式卷和条带卷的特点。

（2）主要用于大文件访问处理

（3）创建一个分布式条带卷，最少需要 4 台服务器。

分布式条带卷原理
File1 和 File2 通过分布式卷的功能分别定位到Server1和 Server2。在 Server1 中，File1 被分割成 4 段，其中 1、3 在 Server1 中的 exp1 目录中，2、4 在 Server1 中的 exp2 目录中。在 Server2 中，File2 也被分割成 4 段，其中 1、3 在 Server2 中的 exp3 目录中，2、4 在 Server2 中的 exp4 目录中。

创建分布式条带卷方式
创建一个名为dis-stripe的分布式条带卷，配置分布式的条带卷时，卷中Brick所包含的存储服务器数必须是条带数的倍数（>=2倍）。Brick 的数量是 4（Server1:/dir1、Server2:/dir2、Server3:/dir3 和 Server4:/dir4），条带数为 2（stripe 2）

gluster volume create dis-stripe stripe 2 transport tcp server1:/dir1 server2:/dir2 server3:/dir3 server4:/dir4

注：
（1）创建卷时，存储服务器的数量如果等于条带或复制数，那么创建的是条带卷或者复制卷；

（2）如果存储服务器的数量是条带或复制数的 2 倍甚至更多，那么将创建的是分布式条带卷或分布式复制卷。

5 、分布式复制卷（Distribute Replica volume）

分布式复制卷概念
（1）Brick Server 数量是镜像数（数据副本数量）的倍数，兼具分布式卷和复制卷的特点。

（2）主要用于需要冗余的情况下。

分布式复制卷原理
File1 和 File2 通过分布式卷的功能分别定位到 Server1 和 Server2。在存放 File1 时，File1 根据复制卷的特性，将存在两个相同的副本，分别是 Server1 中的exp1 目录和 Server2 中的 exp2 目录。在存放 File2 时，File2 根据复制卷的特性，也将存在两个相同的副本，分别是 Server3 中的 exp3 目录和 Server4 中的 exp4 目录。

创建分布式复制卷方式
创建一个名为dis-rep的分布式复制卷，配置分布式的复制卷时，卷中Brick所包含的存储服务器数必须是复制数的倍数（>=2倍）。Brick 的数量是 4（Server1:/dir1、Server2:/dir2、Server3:/dir3 和 Server4:/dir4），复制数为 2（replica 2）

gluster volume create dis-rep replica 2 transport tcp server1:/dir1 server2:/dir2 server3:/dir3 server4:/dir4

6、 两个不常用的卷类型

条带复制卷（Stripe Replica volume）：
类似 RAID 10，同时具有条带卷和复制卷的特点。

分布式条带复制卷（Distribute Stripe Replicavolume）：
三种基本卷的复合卷，通常用于类 Map Reduce 应用。

二、部署GlusterFSt群集

节点：node1 ip：192.168.150.10 磁盘：sdb1、sdc1、sdd1、sde1 挂载点：/data
节点：node2 ip：192.168.150.20 磁盘：sdb1、sdc1、sdd1、sde1 挂载点：/data
节点：node3 ip：192.168.150.30 磁盘：sdb1、sdc1、sdd1、sde1 挂载点：/data
节点：node4 ip：192.168.150.40 磁盘：sdb1、sdc1、sdd1、sde1 挂载点：/data
节点：client ip：192.168.150.100

1、使用脚本对硬盘进行分区挂载

[root@localhost ~]# vim /home/fdisk.sh
 
#!/bin/bash
	echo "the disks exist list:"
	#grep出系统所带磁盘
	fdisk -l |grep '磁盘 /dev/sd[a-z]'    
	echo "=================================================="
	PS3="chose which disk you want to create:"
	#选择需要创建的磁盘编号
	select VAR in `ls /dev/sd*|grep -o 'sd[b-z]'|uniq` quit   
	do
   	 case $VAR in
   	 sda)
	#本地磁盘就退出case语句
     	   fdisk -l /dev/sda   
     	   break ;;
  	  sd[b-z])
    	    #create partitions
       	 echo "n    ##创建磁盘
          	      p
        	        
           	     w"  | fdisk /dev/$VAR
 
        	#make filesystem
	#格式化
      	  mkfs.xfs -i size=512 /dev/${VAR}"1" &> /dev/null    
		#mount the system
      	  mkdir -p /data/${VAR}"1" &> /dev/null
	#永久挂载
        	echo -e "/dev/${VAR}"1" /data/${VAR}"1" xfs defaults 0 0\n" >> /etc/fstab
	#使得挂载生效
     	   mount -a &> /dev/null
      	  break ;;
    	quit)
     	   break;;
  	  *)
       	 echo "wrong disk,please check again";;
   	 esac
	done
 
[root@localhost ~]# chmod +x /home/fdisk.sh
[root@localhost ~]# cd /home
[root@localhost ~]# sh fdisk.sh

2、配置/etc/hosts文件

建立地址映射，四台节点都操作

[root@localhost ~]# vim /etc/hosts
...
192.168.150.10 node1
192.168.150.20 node2
192.168.150.30 node3
192.168.150.40 node4

3、安装GFS分布式文件系统

编辑GFS的源，四台节点都操作

[root@localhost opt]# ls
gfsrepo.zip  rh             #在/opt放置关于gfs的软件包
[root@localhost opt]# unzip gfsrepo.zip             #解压
[root@localhost opt]# cd /etc/yum.repos.d/
[root@localhost yum.repos.d]# mkdir repos.bak       #将原来的源移动到新建的目录中
[root@localhost yum.repos.d]# mv Cent* repos.bak/
[root@localhost yum.repos.d]# ls
repos.bak
[root@localhost yum.repos.d]# vim local.repo
[GLFS]
name= glfs
baseurl=file:///opt/gfsrepo
gpgcheck=0
enabled=1
 
[root@localhost yum.repos.d]# yum clean all && yum makecache

安装GFS软件包，四台节点都做

[root@localhost ~]# yum -y install glusterfs glusterfs-server glusterfs-fuse glusterfs-rdma    #安装-glusterfs-server服务端软件、glusterfs-fuse使用gfs文件系统软件
[root@localhost ~]# systemctl start glusterd.service      #启动
[root@localhost ~]# systemctl enable glusterd.service     #开机自启
[root@localhost ~]# systemctl status glusterd.service     #查看状态

添加存储信任池（只在节点1操作即可）

[root@node1 ~]# gluster peer probe node2
peer probe: success. 
[root@node1 ~]# gluster peer probe node3
peer probe: success. 
[root@node1 ~]# gluster peer probe node4
peer probe: success. 
[root@node1 ~]# gluster peer status       #在每个node节点查看集群状态
Number of Peers: 3
 
Hostname: node2
Uuid: 47dbbd0a-2b68-413a-b1bf-07bd764af828
State: Peer in Cluster (Connected)
Hostname: node3
Uuid: 6a28956d-0706-483f-a7e8-946bf8cbc6e7
State: Peer in Cluster (Connected)
Hostname: node4
Uuid: 08cbaccb-13a4-4dec-938b-3c6f0d18bc51
State: Peer in Cluster (Connected)

4.创建卷

根据规划创建如下卷

创建分布式卷

利用node1和node2上的两块磁盘创建，dis-vol为磁盘名，force表示强制

[root@node1 ~]# gluster volume create dis-vol node1:/data/sdb1 node2:/data/sdb1 force
volume create: dis-vol: success: please start the volume to access data
[root@node1 ~]# gluster volume start dis-vol       #启动dis-vol卷
volume start: dis-vol: success
[root@node1 ~]# gluster volume info dis-vol        #查看该卷的状态
 
Volume Name: dis-vol
Type: Distribute
Volume ID: 0a676197-c893-4430-9537-a9ea7dbff87c
Status: Started
Snapshot Count: 0
Number of Bricks: 2
Transport-type: tcp
Bricks:
Brick1: node1:/data/sdb1
Brick2: node2:/data/sdb1
Options Reconfigured:
transport.address-family: inet
nfs.disable: on

创建条带卷

[root@node1 ~]# gluster volume create stripe-vol stripe 2 node1:/data/sdc1  node2:/data/sdc1 force
volume create: stripe-vol: success: please start the volume to access data
[root@node1 ~]# gluster volume start stripe-vol
volume start: stripe-vol: success
[root@node1 ~]# gluster volume info stripe-vol
 
Volume Name: stripe-vol
Type: Stripe
Volume ID: adc9ec83-136b-43af-8963-4a9dab077b6a
Status: Started
Snapshot Count: 0
Number of Bricks: 1 x 2 = 2
Transport-type: tcp
Bricks:
Brick1: node1:/data/sdc1
Brick2: node2:/data/sdc1
Options Reconfigured:
transport.address-family: inet
nfs.disable: on

创建复制卷

[root@node1 ~]# gluster volume create rep-vol replica 2 node3:/data/sdb1 node4:/data/sdb1 force
volume create: rep-vol: success: please start the volume to access data
[root@node1 ~]# gluster volume start rep-vol
volume start: rep-vol: success
[root@node1 ~]# gluster volume info rep-vol
 
Volume Name: rep-vol
Type: Replicate
Volume ID: 0905b894-2dde-4426-8f80-b4d63dbfe571
Status: Started
Snapshot Count: 0
Number of Bricks: 1 x 2 = 2
Transport-type: tcp
Bricks:
Brick1: node3:/data/sdb1
Brick2: node4:/data/sdb1
Options Reconfigured:
transport.address-family: inet
nfs.disable: on
performance.client-io-threads: off

创建分布式条带卷

[root@node1 ~]# gluster volume create dis-stripe stripe 2 node1:/data/sdd1 node2:/data/sdd1 node3:/data/sdd1 node4:/data/sdd1 force
volume create: dis-stripe: success: please start the volume to access data
[root@node1 ~]# gluster volume start dis-stripe
volume start: dis-stripe: success
[root@node1 ~]# gluster volume info dis-stripe
 
Volume Name: dis-stripe
Type: Distributed-Stripe
Volume ID: 5b69fec8-7e78-4186-96ef-a33718ed7bff
Status: Started
Snapshot Count: 0
Number of Bricks: 2 x 2 = 4
Transport-type: tcp
Bricks:
Brick1: node1:/data/sdd1
Brick2: node2:/data/sdd1
Brick3: node3:/data/sdd1
Brick4: node4:/data/sdd1
Options Reconfigured:
transport.address-family: inet
nfs.disable: on

创建分布式复制卷

[root@node1 ~]# gluster volume create dis-rep replica 2 node1:/data/sde1 node2:/data/sde1 node3:/data/sde1 node4:/data/sde1 forcevolume create: dis-rep: success: please start the volume to access data
[root@node1 ~]# gluster volume start dis-rep
volume start: dis-rep: success
[root@node1 ~]# gluster volume info dis-rep
 
Volume Name: dis-rep
Type: Distributed-Replicate
Volume ID: d8c48244-e45a-4142-95f9-bd1f2ded5c54
Status: Started
Snapshot Count: 0
Number of Bricks: 2 x 2 = 4
Transport-type: tcp
Bricks:
Brick1: node1:/data/sde1
Brick2: node2:/data/sde1
Brick3: node3:/data/sde1
Brick4: node4:/data/sde1
Options Reconfigured:
transport.address-family: inet
nfs.disable: on
performance.client-io-threads: off

5.创建客户端挂载GFS文件系统

配置GFS源，安装GFS软件

[root@client ~]# cd /opt/
[root@client opt]# ls
gfsrepo.zip  rh
[root@client opt]# unzip gfsrepo.zip
[root@client opt]#  vim /etc/yum.repos.d/GLFS.repo
[GLFS]
name=glfs
baseurl=file:///opt/gfsrepo
gpgcheck=0
enabled=1
 
[root@client yum.repos.d]# yum clean all && yum makecache
[root@client opt]# cd ~
[root@client ~]# yum -y install glusterfs glusterfs-fuse

创建挂载目录

[root@client opt]# mkdir -p /test/{dis,stripe,rep,dis_stripe,dis_rep}
[root@client opt]# ls /test/
dis  dis_rep  dis_stripe  rep  stripe

配置/etc/hosts文件

[root@client ~]# vim /etc/hosts
...
192.168.150.10 node1
192.168.150.20 node2
192.168.150.30 node3
192.168.150.40 node4

挂载Gluster文件系统（临时挂载）

[root@client test]# mount.glusterfs node1:dis-volume /test/dis
[root@client test]# mount.glusterfs node1:stripe-volume /test/stripe
[root@client test]# mount.glusterfs node1:rep-volume /test/rep
[root@client test]# mount.glusterfs node1:dis-stripe /test/dis_stripe
[root@client test]# mount.glusterfs node1:dis-rep /test/dis_rep
[root@client ~]# df -hT
文件系统         类型            容量  已用  可用 已用% 挂载点
/dev/sda2        xfs              10G  3.8G  6.3G   38% /
devtmpfs         devtmpfs        474M     0  474M    0% /dev
tmpfs            tmpfs           489M     0  489M    0% /dev/shm
tmpfs            tmpfs           489M  7.2M  482M    2% /run
tmpfs            tmpfs           489M     0  489M    0% /sys/fs/cgroup
/dev/sda5        xfs             4.0G   37M  4.0G    1% /home
/dev/sda1        xfs             4.0G  158M  3.9G    4% /boot
tmpfs            tmpfs            98M  4.0K   98M    1% /run/user/42
tmpfs            tmpfs            98M   20K   98M    1% /run/user/0
/dev/sr0         iso9660         4.3G  4.3G     0  100% /run/media/root/CentOS 7 x86_64
node1:dis-vol    fuse.glusterfs   10G  167M  9.9G    2% /text/dis
node1:stripe-vol fuse.glusterfs   10G  167M  9.9G    2% /text/strip
node3:rep-vol    fuse.glusterfs  5.0G   84M  5.0G    2% /text/rep
node2:dis-stripe fuse.glusterfs   20G  334M   20G    2% /text/dis-str
node4:dis-rep    fuse.glusterfs   10G  167M  9.9G    2% /text/dis-rep

6.测试Gluster文件系统

卷中写入文件，客户端操作

[root@client ~]# cd /opt
[root@client opt]# dd if=/dev/zero of=/opt/demo1.log bs=1M count=40
记录了40+0的读入
记录了40+0的写出
41943040字节(42MB)已复制，0.0262489秒，1.6 GB/秒
[root@client opt]# dd if=/dev/zero of=/opt/demo2.log bs=1M count=40
记录了40+日 的读入
记录了40+0的写出
41943040字节(42 MB)己复制，0.0395467秒，1.1 GB/秒
[ root@client opt]# dd if=/dev/zero of=/opt/demo3.log bs=1M count=40
记录了40+0的读入
记录了40+0的写出
41943040字节(42 MB)己复制，0.027494秒，1.5 GB/秒
[root@client opt]# dd if=/dev/zero of=/opt/demo4.log bs=1M count=40
记录了40+0的读入
记录了40+0的写出
41943040字节(42MB)已复制，0.319676 秒，131 MB/秒
[root@client opt]# dd if=/dev/zero of=/opt/demo5.log bs=1M count=40
记录了40+0的读入
记录了40+0的写出
41943040字节(42MB)已复制，0.506533 秒，82.8 MB/秒
[root@client opt]# ls -lh
总用量 276M
-rw-r--r--. 1 root root 4OM 11月17 10:10 demo1.log
-rw-r--r--. 1 root root 40M 11月17 10:10 demo2.log
-rw-r--r--. 1 root root 40M 11月17 10:10 demo3.log
-rw-r--r--. 1 root root 40M 11月17 10:10 demo4.log
-rw-r--r--. 1 root root 40M 11月17 10:10 demo5.log
drwxr-xr-x. 3 root root 12k 10月31 2019 gfsrepo
-rw-r--r--. 1 root root 76M 2月 17 2020 gfsrepo.zip
drwxr-xr-x. 2 root root   6 9月  7 2017 rh

[root@client opt]# cp demo* /test/dis		
[root@client opt]# cp demo* /test/stripe/
[root@client opt]# cp demo* /test/rep/
[root@client opt]# cp demo* /test/dis_stripe/
[root@client opt]# cp demo* /test/dis_rep/
[root@client opt]# ls /test/dis
demo1.log demo2.log demo3.log demo4.log demo5.log
[root@client opt]# ls /test/stripe
demo1.log demo2.log demo3.log demo4.log demo5.log
[root@client opt]# ls /test/rep
demo1.log demo2.log demo3.log demo4.log demo5.log
[root@client opt]# ls /test/dis_stripe
demo1.log demo2.log demo3.log demo4.log demo5.log
[root@client opt]# ls /test/dis_rep
demo1.log demo2.log demo3.log demo4.log demo5.log

7.验证gluster文件系统

查看分布式文件分布

[root@node1 ~]# ls -lh /data/sdb1		#没有被分片，文件分开节点存放
总用量160M
-rw-r--r-- 2 root root 40M 12月18 14:50 demo1.log
-rw-r-—r-- 2 root root 40M 12月18 14:50 demo2.log
-rw-r--r-- 2 root root 40M 12月18 14:50 demo3.log
-rw-r--r-- 2 root root 40M 12月18 14:50 demo4.log
[root@node2 ~]#ll -h / data/ sdbl
总用量40M
-rw-r--r-- 2 root root 40M 12月18 14:50 demo5.log

查看条带卷文件分布

[root@node1 ~]# ls -lh /data/sdc1      #数据被分片50%没副本没冗余
总用量101M
-rw-r--r-- 2 root root 20M 12月18 14:51 demo1.log
-rw-r--r-- 2 root root 20M 12月18 14:51 demo2.log
-rw-r--r-- 2 root root 20M 12月18 14:51 demo3.log
-rw-r--r-- 2 root root 20M 12月18 14:51 demo4.log
-rw-r--r-- 2 root root 20M 12月18 14:51 demo5.log
[root@node2 ~]# ls -lh /data/sdc1      #数据被分片50%没副本没冗余
总用量101M 
-rw-r--r-- 2 root root 20M 12月18 14:51 demo1.log
-rw-r--r-- 2 root root 20M 12月18 14:51 demo2.log
-rw-r--r-- 2 root root 20M 12月18 14:51 demo3.log
-rw-r--r-- 2 root root 20M 12月18 14:51 demo4.log
-rw-r--r-- 2 root root 20M 12月18 14:51 demo5.log

查看复制卷文件分布

[root@node3 ~]# ls -lh /data/sdb1    #数据没有被分片，有副本，有冗余
总用量201M
-rw-r--r-- 2 root root 40M 12月18 14:51 demo1.log
-rw-r--r-- 2 root root 40M 12月18 14:51 demo2.log
-rw-r--r-- 2 root root 40M 12月18 14:51 demo3.log
-rw-r--r-- 2 root root 40M 12月18 14:51 demo4.log
-rw-r--r-- 2 root root 40M 12月18 14:51 demo5.log
[root@node4 ~]# ls -lh /data/sdb1    #数据没有被分片，有副本，有冗余
总用量201M
-rw-r--r-- 2 root root 40M 12月18 14:51 demo1.log
-rw-r--r-- 2 root root 40M 12月18 14:51 demo2.log
-rw-r--r-- 2 root root 40M 12月18 14:51 demo3.log
-rw-r--r-- 2 root root 40M 12月18 14:51 demo4.log
-rw-r--r-- 2 root root 40M 12月18 14:51 demo5.log

查看分布式条带卷分布

[root@node1 ~]# ls -lh /data/sdd1      #数据被分片50%，没副本，没冗余
总用量80M
-rw-r--r-- 2 root root 20M 12月18 14:51 demo1.log
-rw-r--r-- 2 root root 20M 12月18 14:51 demo2.log
-rw-r--r-- 2 root root 20M 12月18 14:51 demo3.log
-rw-r--r-- 2 root root 20M 12月18 14:51 demo4.log
[root@node2 ~]# ls -lh /data/sdd1
总用量80M
-rw-r--r-- 2 root root 20M 12月18 14:51 demo1.log
-rw-r--r-- 2 root root 20M 12月18 14:51 demo2.log
-rw-r--r-- 2 root root 20M 12月18 14:51 demo3.log
-rw-r--r-- 2 root root 20M 12月18 14:51 demo4.log
[root@node3 ~]# ls -lh /data/sdd1
总用量20M
-rw-r--r-- 2 root root 20M 12月18 14:51 demo5.log
[root@node4 ~]# ls -lh /data/sdd1
总用量20M
-rw-r--r-- 2 root root 20M 12月18 14:51 demo5.log

查看分布式复制卷分布

[root@node1 ~]# ls -lh /data/sde1      #数据没有被分片，有副本，有冗余
总用量160M
-rw-r--r-- 2 root root 40M 12月18 14:51 demo1.log
-rw-r--r-- 2 root root 40M 12月18 14:51 demo2.log
-rw-r--r-- 2 root root 40M 12月18 14:51 demo3.log
-rw-r--r-- 2 root root 40M 12月18 14:51 demo4.log
[root@node2 ~]# ls -lh /data/sde1      #数据没有被分片，有副本，有冗余
总用量160M
-rw-r--r-- 2 root root 40M 12月18 14:51 demo1.log
-rw-r--r-- 2 root root 40M 12月18 14:51 demo2.log
-rw-r--r-- 2 root root 40M 12月18 14:51 demo3.log
-rw-r--r-- 2 root root 40M 12月18 14:51 demo4.log
[root@node3 ~]# ls -lh /data/sde1      #数据没有被分片，有副本，有冗余
总用量40M
-rw-r--r-- 2 root root 40M 12月18 14:51 demo5.log
[root@node4 ~]# ls -lh /data/sde1      #数据没有被分片，有副本，有冗余
总用量40M
-rw-r--r-- 2 root root 40M 12月18 14:51 demo5.log

三、破坏性测试

1.挂起 node2 节点模拟故障

#挂起 node2 节点或者关闭glusterd服务来模拟故障
[root@node2 ~]# systemctl stop glusterd.service

#在客户端上查看文件是否正常
#分布式卷数据查看
[root@test2 opt]# ll /test/dis/             #在客户机上发现少了demo5.log文件，这个是在node2上的
总用量 163840
-rw-r--r--. 1 root root 41943040 8月   1 18:00 demo1.log
-rw-r--r--. 1 root root 41943040 8月   1 18:00 demo2.log
-rw-r--r--. 1 root root 41943040 8月   1 18:00 demo3.log
-rw-r--r--. 1 root root 41943040 8月   1 18:00 demo4.log

#条带卷
[root@test2 opt]# cd /test/stripe/		#无法访问，条带卷不具备冗余性
[root@test2 stripe]# ll
总用量 0

#分布式条带卷
[root@test2 stripe]# ll /test/dis_stripe/		#无法访问，分布条带卷不具备冗余性
总用量 40960
-rw-r--r--. 1 root root 41943040 8月   1 18:00 demo5.log

#分布式复制卷
[root@test2 stripe]# ll /test/dis_rep/                      #可以访问，分布式复制卷具备冗余性
总用量 204800
-rw-r--r--. 1 root root 41943040 8月   1 18:00 demo1.log
-rw-r--r--. 1 root root 41943040 8月   1 18:00 demo2.log
-rw-r--r--. 1 root root 41943040 8月   1 18:00 demo3.log
-rw-r--r--. 1 root root 41943040 8月   1 18:00 demo4.log
-rw-r--r--. 1 root root 41943040 8月   1 18:00 demo5.log

2.挂起 node2 和 node4 节点，在客户端上查看文件是否正常

#挂起 node2 和 node4 节点，在客户端上查看文件是否正常
#测试复制卷是否正常
[root@test2 stripe]# ls -l /test/rep/		#在客户机上测试正常 数据有
总用量 204800
-rw-r--r--. 1 root root 41943040 8月   1 18:00 demo1.log
-rw-r--r--. 1 root root 41943040 8月   1 18:00 demo2.log
-rw-r--r--. 1 root root 41943040 8月   1 18:00 demo3.log
-rw-r--r--. 1 root root 41943040 8月   1 18:00 demo4.log
-rw-r--r--. 1 root root 41943040 8月   1 18:00 demo5.log

#测试分布式条卷是否正常
[root@test2 stripe]# ll /test/dis_stripe/		#在客户机上测试没有数据 
总用量 0

#测试分布式复制卷是否正常
[root@test2 stripe]# ll /test/dis_rep/		#在客户机上测试正常 有数据
总用量 204800
-rw-r--r--. 1 root root 41943040 8月   1 18:00 demo1.log
-rw-r--r--. 1 root root 41943040 8月   1 18:00 demo2.log
-rw-r--r--. 1 root root 41943040 8月   1 18:00 demo3.log
-rw-r--r--. 1 root root 41943040 8月   1 18:00 demo4.log
-rw-r--r--. 1 root root 41943040 8月   1 18:00 demo5.log

四、GFS文件系统的维护命令

1.查看GlusterFS卷

[root@node1 ~]# gluster volume list 

2.查看所有卷的信息

[root@node1 ~]# gluster volume info

3.查看所有卷状态

[root@node1 ~]# gluster volume status

4.停止一个卷

[root@node1 ~]# gluster volume stop dis-stripe

5.删除一个卷

[root@node1 ~]# gluster volume delete dis-stripe

6.黑白名单

#仅拒绝
gluster volume set dis-rep auth.deny 192.168.80.100

#仅允许
gluster volume set dis-rep auth.allow 192.168.80.* #设置192.168.80.0网段的所有IP地址都能访问dis-rep卷（分布式复制卷）