(1)开源的分布式文件系统
(2)由存储服务器,客户端及NFS/Samba,存储网关组成
(3)无元数据服务器
(1)扩展性和高性能(分布式的特性)
(2)高可用性(冗余,容灾的能力)
(3)全局统一命名空间(可装很多东西,但每个空间不能有一样的)
(4)弹性卷管理(raid 级别)
(5)基于标准协议(GFS,HTTP,NFS)
(1)GFS:开源的分布式文件系统,由存储服务器,客户端及NFS/Samba,存储网关组成,无元数据服务器
(2)Brick(存储块):指可信主机池中的主机提供的用于物理存储的专用分区,是GFS中基本存储单元,同时也是可信主机池中对外提供的存储目录
(3)Volume(逻辑卷):一个逻辑卷是一组Brick的集合,卷是数据存储的逻辑设备,类似于lvm中的逻辑卷。大部分Gluster管理操作是在卷上进行的。
(4)Fuse:是一个内核模块,允许用户创建自己的文件系统,无需修改内核代码。(伪文件系统)
(5)VFS:内核对用户提供的访问磁盘的接口。(虚拟端口)
(6)Glusterd(后台管理进程):服务端,在存储群集中的每个节点都要运行。
(1)工作流程图:
(2)工作流程:
① 客户端或应用程序通过GFS的挂载点访问数据
② linux系统内核通过VFS API收到请求并处理
③ VFS将数据递交给FUSE内核文件系统,并向系统注册一个实际的fuse,而fuse通过/dev/fuse将数据交给GFS client。(fuse等于代理)
④ GFS client收到数据后,client根据配置文件中的配置进行处理。
⑤ 经过GFS client的处理后,通过网络数据传输至远端的GFS server,并写入其设备中。
(1)通过HASH算法得到一个32位的整数
(2)划分为N个连续的子空间,每个空间对应一个Brick
(3)优点:
① 保证数据平均分在每个Brick中
② 解决了对元数据服务器的依赖,进而解决单点故障及访问瓶颈
(1)概述:
① 文件通过 HASH 算法分布到所有 Brick Server 上,这种卷是 GlusterFS 的默认卷。
② 以文件为单位根据 HASH 算法散列到不同的 Brick,其实只是扩大了磁盘空间,如果有一块磁盘损坏,数据也将丢失,属于文件级的 RAID0, 不具有容错能力。
(1)简介:
① 并没有对文件进行分块处理,文件直接存储在某个 Server 节点上。
② 由于直接使用本地文件系统进行文件存储,所以存取效率并没有提高,反而会因为网络通信的原因而有所降低。
#示例原理:
File1 和 File2 存放在 Server1,而 File3 存放在 Server2,文件都是随机存储,一个文件(如 File1)要么在 Server1 上,要么在 Server2 上,不能分块同时存放在 Server1和 Server2 上。
(2)分布式卷具有如下特点:
① 文件分布在不同的服务器,不具备冗余性。
② 更容易和廉价地扩展卷的大小。
③ 单点故障会造成数据丢失。
④ 依赖底层的数据保护。
(3)创建:
创建一个名为dis-volume的分布式卷,文件将根据HASH分布在server1:/dir1、server2:/dir2和server3:/dir3中
gluster volume create dis-volume server1:/dir1 server2:/dir2 server3:/dir3
(1)概述:
① 类似 RAID0,文件被分成数据块并以轮询的方式分布到多个 Brick Server 上
② 文件存储以数据块为单位,支持大文件存储, 文件越大,读取效率越高
③ 不具备冗余性。
#示例原理:
File 被分割为 6 段,1、3、5 放在 Server1,2、4、6 放在 Server2。
(2)条带卷特点:
① 数据被分割成更小块分布到块服务器群中的不同条带区。
② 分布减少了负载且更小的文件加速了存取的速度。
③ 没有数据冗余。
(3)创建:
创建了一个名为stripe-volume的条带卷,文件将被分块轮询的存储在Server1:/dir1和Server2:/dir2两个Brick中
gluster volume create stripe-volume stripe 2 transport tcp server1:/dir1 server2:/dir2
(1)概述:
① 将文件同步到多个 Brick 上,使其具备多个文件副本,属于文件级 RAID 1,具有容错能力。
② 因为数据分散在多个 Brick 中,所以读性能得到很大提升,但写性能下降。
③ 复制卷具备冗余性,即使一个节点损坏,也不影响数据的正常使用。但因为要保存副本,所以磁盘利用率较低。
#示例原理:
File1 同时存在 Server1 和 Server2,File2 也是如此,相当于 Server2 中的文件是 Server1 中文件的副本。
(2)复制卷特点:
① 卷中所有的服务器均保存一个完整的副本。
② 卷的副本数量可由客户创建的时候决定,但复制数必须等于卷中 Brick 所包含的存储服务器数。
③ 至少由两个块服务器或更多服务器。
④ 具备冗余性。
(3)创建:
创建名为rep-volume的复制卷,文件将同时存储两个副本,分别在Server1:/dir1和Server2:/dir2两个Brick中
gluster volume create rep-volume replica 2 transport tcp server1:/dir1 server2:/dir2
(1)概述:
① Brick Server 数量是条带数(数据块分布的 Brick 数量)的倍数,兼具分布式卷和条带卷的特点。
② 主要用于大文件访问处理,创建一个分布式条带卷最少需要 4 台服务器。
#示例原理:
File1 和 File2 通过分布式卷的功能分别定位到Server1和 Server2。在 Server1 中,File1 被分割成 4 段,其中 1、3 在 Server1 中的 exp1 目录中,2、4 在 Server1 中的 exp2 目录中。在 Server2 中,File2 也被分割成 4 段,其中 1、3 在 Server2 中的 exp3 目录中,2、4 在 Server2 中的 exp4 目录中。
(2)创建:
创建一个名为dis-stripe的分布式条带卷,配置分布式的条带卷时,卷中Brick所包含的存储服务器数必须是条带数的倍数(>=2倍)。Brick 的数量是 4(Server1:/dir1、Server2:/dir2、Server3:/dir3 和 Server4:/dir4),条带数为 2(stripe 2)
gluster volume create dis-stripe stripe 2 transport tcp server1:/dir1 server2:/dir2 server3:/dir3 server4:/dir4
创建卷时,存储服务器的数量如果等于条带或复制数,那么创建的是条带卷或者复制卷;如果存储服务器的数量是条带或复制数的 2 倍甚至更多,那么将创建的是分布式条带卷或分布式复制卷。
(1)概述:
① Brick Server 数量是镜像数(数据副本数量)的倍数,兼具分布式卷和复制卷的特点。
② 主要用于需要冗余的情况下。
#示例原理:
File1 和 File2 通过分布式卷的功能分别定位到 Server1 和 Server2。在存放 File1 时,File1 根据复制卷的特性,将存在两个相同的副本,分别是 Server1 中的exp1 目录和 Server2 中的 exp2 目录。在存放 File2 时,File2 根据复制卷的特性,也将存在两个相同的副本,分别是 Server3 中的 exp3 目录和 Server4 中的 exp4 目录。
(2)创建:
创建一个名为dis-rep的分布式复制卷,配置分布式的复制卷时,卷中Brick所包含的存储服务器数必须是复制数的倍数(>=2倍)。Brick 的数量是 4(Server1:/dir1、Server2:/dir2、Server3:/dir3 和 Server4:/dir4),复制数为 2(replica 2)
gluster volume create dis-rep replica 2 transport tcp server1:/dir1 server2:/dir2 server3:/dir3 server4:/dir4
类似 RAID 10,同时具有条带卷和复制卷的特点。
三种基本卷的复合卷,通常用于类 Map Reduce 应用。
服务端节点:
节点名称 | IP地址 | 磁盘 | 挂载点 |
---|---|---|---|
Node1节点 | 192.168.186.10 | /dev/sdb1 /data/sdc1 /data/sdd1 /data/sde1 | /data/sdb1 |
Node2节点 | 192.168.186.20 | /dev/sdb1 /data/sdc1 /data/sdd1 /data/sde1 | /data/sdb1 |
Node3节点 | 192.168.186.40 | /dev/sdb1 /data/sdc1 /data/sdd1 /data/sde1 | /data/sdb1 |
Node4节点 | 192.168.186.50 | /dev/sdb1 /data/sdc1 /data/sdd1 /data/sde1 | /data/sdb1 |
客户端节点:192.168.186.60
(1)关闭防火墙安全机制:
systemctl stop firewalld
setenforce 0
(2)磁盘分区,挂载:
vim /opt/fdisk.sh
#!/bin/bash
NEWDEV=`ls /dev/sd* | grep -o 'sd[b-z]' | uniq`
for VAR in $NEWDEV
do
echo -e "n\np\n\n\n\nw\n" | fdisk /dev/$VAR &> /dev/null
mkfs.xfs /dev/${VAR}"1" &> /dev/null
mkdir -p /data/${VAR}"1" &> /dev/null
echo "/dev/${VAR}"1" /data/${VAR}"1" xfs defaults 0 0" >> /etc/fstab
done
mount -a &> /dev/null
:wq!
chmod +x /opt/fdisk.sh
cd /opt/
./fdisk.sh
(3)修改主机名,配置/etc/hosts文件:
hostnamectl set-hostname node1
su
echo "192.168.186.10 node1" >> /etc/hosts
echo "192.168.186.20 node2" >> /etc/hosts
echo "192.168.186.40 node3" >> /etc/hosts
echo "192.168.186.50 node4" >> /etc/hosts
(1)将gfsrepo 软件上传到/opt目录下:
unzip gfsrepo.zip
(2)安装GlusterFS:
cd /etc/yum.repos.d/
mkdir repo.bak
mv *.repo repo.bak
vim glfs.repo
[glfs]
name=glfs
baseurl=file:///opt/gfsrepo
gpgcheck=0
enabled=1
yum clean all && yum makecache
yum -y install glusterfs glusterfs-server glusterfs-fuse glusterfs-rdma
systemctl start glusterd.service
systemctl enable glusterd.service
systemctl status glusterd.service
(1)添加节点:
gluster peer probe node1
gluster peer probe node2
gluster peer probe node3
gluster peer probe node4
(2)在每个Node节点上查看群集状态:
gluster peer status
卷名称 | 卷类型 | Brick |
---|---|---|
dis-volume | 分布式卷 | node1(/data/sdb1)、node2(/data/sdb1) |
stripe-volume | 条带卷 | node1(/data/sdc1)、node2(/data/sdc1) |
rep-volume | 复制卷 | node3(/data/sdb1)、node4(/data/sdb1) |
dis-stripe | 分布式条带卷 | node1(/data/sdd1)、node2(/data/sdd1)、node3(/data/sdd1)、node4(/data/sdd1) |
dis-rep | 分布式复制卷 | node1(/data/sde1)、node2(/data/sde1)、node3(/data/sde1)、node4(/data/sde1) |
(1)创建分布式卷:
#创建分布式卷,没有指定类型,默认创建的是分布式卷
gluster volume create dis-volume node1:/data/sdb1 node2:/data/sdb1 force
#查看卷列表
gluster volume list
#启动新建分布式卷
gluster volume start dis-volume
#查看创建分布式卷信息
gluster volume info dis-volume
(2)创建条带卷
#指定类型为 stripe,数值为 2,且后面跟了 2 个 Brick Server,所以创建的是条带卷
gluster volume create stripe-volume stripe 2 node1:/data/sdc1 node2:/data/sdc1 force
gluster volume start stripe-volume
gluster volume info stripe-volume
(3)创建复制卷
#指定类型为 replica,数值为 2,且后面跟了 2 个 Brick Server,所以创建的是复制卷
gluster volume create rep-volume replica 2 node3:/data/sdb1 node4:/data/sdb1 force
gluster volume start rep-volume
gluster volume info rep-volume
(4)创建分布式条带卷
#指定类型为 stripe,数值为 2,而且后面跟了 4 个 Brick Server,是 2 的两倍,所以创建的是分布式条带卷
gluster volume create dis-stripe stripe 2 node1:/data/sdd1 node2:/data/sdd1 node3:/data/sdd1 node4:/data/sdd1 force
gluster volume start dis-stripe
gluster volume info dis-stripe
(5)创建分布式复制卷
指定类型为 replica,数值为 2,而且后面跟了 4 个 Brick Server,是 2 的两倍,所以创建的是分布式复制卷
gluster volume create dis-rep replica 2 node1:/data/sde1 node2:/data/sde1 node3:/data/sde1 node4:/data/sde1 force
gluster volume start dis-rep
gluster volume info dis-rep
(6)查看当前所有卷的列表
gluster volume list
#将gfsrepo 软件上传到/opt目下 并解压步骤在上面
cd /etc/yum.repos.d/
mkdir repo.bak
mv *.repo repo.bak
vim glfs.repo
[glfs]
name=glfs
baseurl=file:///opt/gfsrepo
gpgcheck=0
enabled=1
yum clean all && yum makecache
yum -y install glusterfs glusterfs-fuse
mkdir -p /test/{dis,stripe,rep,dis_stripe,dis_rep}
ls /test
echo "192.168.186.10 node1" >> /etc/hosts
echo "192.168.186.20 node2" >> /etc/hosts
echo "192.168.186.40 node3" >> /etc/hosts
echo "192.168.186.50 node4" >> /etc/hosts
mount.glusterfs node1:dis-volume /test/dis
mount.glusterfs node1:stripe-volume /test/stripe
mount.glusterfs node1:rep-volume /test/rep
mount.glusterfs node1:dis-stripe /test/dis_stripe
mount.glusterfs node1:dis-rep /test/dis_rep
df -Th
(1)卷中写入文件,客户端操作
cd /opt
dd if=/dev/zero of=/opt/demo1.log bs=1M count=40
dd if=/dev/zero of=/opt/demo2.log bs=1M count=40
dd if=/dev/zero of=/opt/demo3.log bs=1M count=40
dd if=/dev/zero of=/opt/demo4.log bs=1M count=40
dd if=/dev/zero of=/opt/demo5.log bs=1M count=40
ls -lh /opt
cp /opt/demo* /test/dis
cp /opt/demo* /test/stripe/
cp /opt/demo* /test/rep/
cp /opt/demo* /test/dis_stripe/
cp /opt/demo* /test/dis_rep/
(2)查看文件分布:
① #查看分布式文件分布(node1)
ls -lh /data/sdb1 #数据没有被分片
ll -h /data/sdb1 #node2
② 查看条带卷文件分布:
ls -lh /data/sdc1 (node1)
总用量 100M
-rw-r--r--. 2 root root 20M 8月 1 17:29 demo1.log
-rw-r--r--. 2 root root 20M 8月 1 17:29 demo2.log
-rw-r--r--. 2 root root 20M 8月 1 17:29 demo3.log
-rw-r--r--. 2 root root 20M 8月 1 17:29 demo4.log
-rw-r--r--. 2 root root 20M 8月 1 17:29 demo5.log
[root@node2 opt]# ll -h /data/sdc1 (node2)
总用量 100M
-rw-r--r--. 2 root root 20M 8月 1 17:29 demo1.log
-rw-r--r--. 2 root root 20M 8月 1 17:29 demo2.log
-rw-r--r--. 2 root root 20M 8月 1 17:29 demo3.log
-rw-r--r--. 2 root root 20M 8月 1 17:29 demo4.log
-rw-r--r--. 2 root root 20M 8月 1 17:29 demo5.log
③ 查看复制卷分布:
ll -h /data/sdb1 (node3)
总用量 200M
-rw-r--r--. 2 root root 40M 8月 1 17:29 demo1.log
-rw-r--r--. 2 root root 40M 8月 1 17:29 demo2.log
-rw-r--r--. 2 root root 40M 8月 1 17:29 demo3.log
-rw-r--r--. 2 root root 40M 8月 1 17:29 demo4.log
-rw-r--r--. 2 root root 40M 8月 1 17:29 demo5.log
[root@node4 yum.repos.d]# ll -h /data/sdb1 (node4)
总用量 200M
-rw-r--r--. 2 root root 40M 8月 1 17:29 demo1.log
-rw-r--r--. 2 root root 40M 8月 1 17:29 demo2.log
-rw-r--r--. 2 root root 40M 8月 1 17:29 demo3.log
-rw-r--r--. 2 root root 40M 8月 1 17:29 demo4.log
-rw-r--r--. 2 root root 40M 8月 1 17:29 demo5.log
④ 查看分布式条带卷分布:
[root@node1 yum.repos.d]# ll -h /data/sdd1
总用量 80M
-rw-r--r--. 2 root root 20M 8月 1 17:29 demo1.log
-rw-r--r--. 2 root root 20M 8月 1 17:29 demo2.log
-rw-r--r--. 2 root root 20M 8月 1 17:29 demo3.log
-rw-r--r--. 2 root root 20M 8月 1 17:29 demo4.log
[root@node2 opt]# ll -h /data/sdd1
总用量 80M
-rw-r--r--. 2 root root 20M 8月 1 17:29 demo1.log
-rw-r--r--. 2 root root 20M 8月 1 17:29 demo2.log
-rw-r--r--. 2 root root 20M 8月 1 17:29 demo3.log
-rw-r--r--. 2 root root 20M 8月 1 17:29 demo4.log
[root@node3 yum.repos.d]# ll -h /data/sdd1
总用量 20M
-rw-r--r--. 2 root root 20M 8月 1 17:29 demo5.log
[root@node4 yum.repos.d]# ll -h /data/sdd1
总用量 20M
-rw-r--r--. 2 root root 20M 8月 1 17:29 demo5.log
⑤ 查看分布式复制卷分布:
[root@node1 yum.repos.d]# ll -h /data/sde1
总用量 160M
-rw-r--r--. 2 root root 40M 8月 1 17:29 demo1.log
-rw-r--r--. 2 root root 40M 8月 1 17:29 demo2.log
-rw-r--r--. 2 root root 40M 8月 1 17:29 demo3.log
-rw-r--r--. 2 root root 40M 8月 1 17:29 demo4.log
[root@node2 opt]# ll -h /data/sde1
总用量 160M
-rw-r--r--. 2 root root 40M 8月 1 17:29 demo1.log
-rw-r--r--. 2 root root 40M 8月 1 17:29 demo2.log
-rw-r--r--. 2 root root 40M 8月 1 17:29 demo3.log
-rw-r--r--. 2 root root 40M 8月 1 17:29 demo4.log
[root@node3 yum.repos.d]# ll -h /data/sde1
总用量 40M
-rw-r--r--. 2 root root 40M 8月 1 17:29 demo5.log
[root@node4 yum.repos.d]# ll -h /data/sde1
总用量 40M
-rw-r--r--. 2 root root 40M 8月 1 17:29 demo5.log
(1)挂起:
[root@node2 opt]# systemctl stop glusterd.service
(2)在客户端上查看文件是否正常,分布式卷数据查看
[root@client opt]# ll /test/dis/
总用量 163840
-rw-r--r--. 1 root root 41943040 8月 1 17:29 demo1.log
-rw-r--r--. 1 root root 41943040 8月 1 17:29 demo2.log
-rw-r--r--. 1 root root 41943040 8月 1 17:29 demo3.log
-rw-r--r--. 1 root root 41943040 8月 1 17:29 demo4.log
(4)条带卷查看
[root@client opt]# cd /test/stripe/
[root@client stripe]# ll
总用量 0
(5)分布式条带卷:
[root@client stripe]# ll /test/dis_stripe/
总用量 40960
-rw-r--r--. 1 root root 41943040 8月 1 17:29 demo5.log
(6)分布式复制卷:
[root@client stripe]# ll /test/dis_rep/
总用量 204800
-rw-r--r--. 1 root root 41943040 8月 1 17:29 demo1.log
-rw-r--r--. 1 root root 41943040 8月 1 17:29 demo2.log
-rw-r--r--. 1 root root 41943040 8月 1 17:29 demo3.log
-rw-r--r--. 1 root root 41943040 8月 1 17:29 demo4.log
-rw-r--r--. 1 root root 41943040 8月 1 17:29 demo5.log
(1)测试复制卷是否正常:
[root@client stripe]# ll /test/dis_rep/
总用量 204800
-rw-r--r--. 1 root root 41943040 8月 1 17:29 demo1.log
-rw-r--r--. 1 root root 41943040 8月 1 17:29 demo2.log
-rw-r--r--. 1 root root 41943040 8月 1 17:29 demo3.log
-rw-r--r--. 1 root root 41943040 8月 1 17:29 demo4.log
-rw-r--r--. 1 root root 41943040 8月 1 17:29 demo5.log
(2)测试分布式条卷是否正常:
[root@client stripe]# ll /test/dis_stripe/
总用量 0
(3)测试分布式复制卷是否正常:
[root@client stripe]# ll /test/dis_rep/
总用量 204800
-rw-r--r--. 1 root root 41943040 8月 1 17:29 demo1.log
-rw-r--r--. 1 root root 41943040 8月 1 17:29 demo2.log
-rw-r--r--. 1 root root 41943040 8月 1 17:29 demo3.log
-rw-r--r--. 1 root root 41943040 8月 1 17:29 demo4.log
-rw-r--r--. 1 root root 41943040 8月 1 17:29 demo5.log
综上测试,凡是带复制数据,相比而言,数据比较安全
gluster volume list
gluster volume info
gluster volume status
gluster volume stop dis-stripe
gluster volume delete dis-stripe
(1)仅拒绝:
gluster volume set dis-rep auth.deny 192.168.174.19
(2)仅允许:
gluster volume set dis-rep auth.allow 192.168.:186.* #设置192.168.186.0网段的所有IP地址都能访问dis-rep卷(分布式复制卷)
040 8月 1 17:29 demo4.log
-rw-r–r–. 1 root root 41943040 8月 1 17:29 demo5.log
[外链图片转存中...(img-HYZ65gYf-1690888730946)]
### 3.总结:
综上测试,凡是带复制数据,相比而言,数据比较安全
## 六、扩展其他的维护命令:
### 1.查看GlusterFS卷:
gluster volume list
### 2.查看所有卷的信息:
gluster volume info
### 3.查看所有卷的状态:
gluster volume status
### 4.停止一个卷:
gluster volume stop dis-stripe
### 5.删除一个卷:
- 注意:删除卷时,需要先停止卷,且信任池中不能有主机处于宕机状态,否则删除不成功
gluster volume delete dis-stripe
### 6.设置卷的访问控制:
(1)仅拒绝:
gluster volume set dis-rep auth.deny 192.168.186.10
(2)仅允许:
gluster volume set dis-rep auth.allow 192.168.:186.* #设置192.168.186.0网段的所有IP地址都能访问dis-rep卷(分布式复制卷)