目录
一.文件系统简介
1.1文件系统的组成
1.2文件系统的作用
1.3文件系统的挂载使用
二.GFS分布式文件系统
2.1GlusterFS简介
2.2GlusterFS特点
2.3GFS专业术语
2.4GlusterFS构成
2.5GlusterFS 的工作流程
2.6弹性HASH算法
2.6.1弹性HASH 算法的优点
三.GFS支持的七种卷
3.1分布式卷(Distribute volume)
3.1.1实列
3.1.2分布式卷的优点
3.2条带卷(Stripe volume)
3.2.1条带卷的特点
3.3复制卷(Replica volume)
3.3.1复制卷的特点
3.4分布式条带卷(Distribute Stripe volume)
3.5分布式复制卷(Distribute Replica volume)
3.6条带复制卷(Stripe Replca volume)
3.7分布式条带复制卷(Distribute Stripe Replicavolume)
四.部署 ClusterFS群集
4.1环境部署
4.2更改节点名称
4.3节点进行磁盘挂载,安装本地源
4.4添加节点创建集群
4.5根据规划创建卷
4.5.1创建分布式卷
4.5.2 创建条带卷
4.5.3创建复制卷
4.5.4创建分布式条带卷
4.5.5创建分布式复制卷
4.5.6部署gluster客户端
五 测试 Gluster 文件系统
5.1 破坏性测试
六 扩展
6.1 扩展其他的维护命令
6. 2 查看所有卷的信息
6. 3 查看所有卷的状态
6. 4 停止一个卷
6.5 删除一个卷,注意:删除卷时,需要先停止卷,且信任池中不能有主机处于宕机状态,否则删除不成功
6.6 设置卷的访问控制
从系统角度来看,文件系统时对文件存储设备的空间进行组织和分配,负责文件存储并对存入的文件进行保护和检索的系统
主要负责为用户建立文件、存入、读出、修改、转储文件,控制文件的存取
GlusterFS利用双重特性来提供高容量存储解决方案。
(1)Scale-Out架构允许通过简单地增加存储节点的方式来提高存储容量和性能
(磁盘、计算和I/O资源都可以独立增加),支持10GbE和 InfiniBand等高速网络互联。
(2)Gluster弹性哈希(ElasticHash)解决了GlusterFS对元数据服务器的依赖,
改善了单点故障和性能瓶颈,真正实现了并行化数据访问。
GlusterFS采用弹性哈希算法在存储池中可以智能地定位任意数据分片(将数据分片存储在不同节点上),不需要查看索引或者向元数据服务器查询。
GlusterFS可以对文件进行自动复制,如镜像或多次复制,从而确保数据总是可以访问,
甚至是在硬件故障的情况下也能正常访问。
当数据出现不一致时,自我修复功能能够把数据恢复到正确的状态,
数据的修复是以增量的方式在后台执行,几乎不会产生性能负载。
GlusterFS可以支持所有的存储,因为它没有设计自己的私有数据文件格式,
而是采用操作系统中主流标准的磁盘文件系统(如EXT3、XFS等)来存储文件,
因此数据可以使用传统访问磁盘的方式被访问。
分布式存储中,将所有节点的命名空间整合为统一命名空间,
将整个系统的所有节点的存储容量组成一个大的虚拟存储池,供前端主机访问这些节点完成数据读写操作。
GlusterFS通过将数据储存在逻辑卷中,逻辑卷从逻辑存储池进行独立逻辑划分而得到。
逻辑存储池可以在线进行增加和移除,不会导致业务中断。
逻辑卷可以根据需求在线增长和缩减,并可以在多个节点中实现负载均衡。
文件系统配置也可以实时在线进行更改并应用,从而可以适应工作负载条件变化或在线性能调优。
Gluster 存储服务支持 NFS、CIFS、HTTP、FTP、SMB 及 Gluster原生协议,
完全与 POSIX 标准(可移植操作系统接口)兼容。
现有应用程序不需要做任何修改就可以对Gluster 中的数据进行访问,
也可以使用专用 API 进行访问。
模块化堆栈式架构
File1 和 File2 存放在 Server1,而 File3 存放在 Server2,文件都是随机存储,一个文件(如 File1)要么在 Server1 上,要么在 Server2 上,不能分块同时存放在 Server1和 Server2 上。
Node1节点:node1/192.168.40.16 磁盘: /dev/sdb1 挂载点: /data/sdb1
/dev/sdc1 /data/sdc1
/dev/sdd1 /data/sdd1
/dev/sde1 /data/sde1
Node2节点:node2/192.168.40.17 磁盘: /dev/sdb1 挂载点: /data/sdb1
/dev/sdc1 /data/sdc1
/dev/sdd1 /data/sdd1
/dev/sde1 /data/sde1
Node3节点:node3/192.168.40.170 磁盘: /dev/sdb1 挂载点: /data/sdb1
/dev/sdc1 /data/sdc1
/dev/sdd1 /data/sdd1
/dev/sde1 /data/sde1
Node4节点:node4/192.168.40.172 磁盘: /dev/sdb1 挂载点: /data/sdb1
/dev/sdc1 /data/sdc1
/dev/sdd1 /data/sdd1
/dev/sde1 /data/sde1
=====客户端节点:192.168.40.105=====
注意:
1.首先,每台节点添加四块磁盘,仅做实验,无需太大
2.然后,重启服务器,准备开始部署
node1(192.168.40.16)
[root@slave1 opt]# hostnamectl set-hostname node1
[root@slave1 opt]# bash
node2(192.168.40.17)
[root@localhost ~] # hostnamectl set-hostname node2
[root@localhost ~] # bash
node3(192.168.40.170)
[root@localhost ~] # hostnamectl set-hostname node3
[root@localhost ~] # bash
node4(192.168.226.50)
[root@localhost ~] # hostnamectl set-hostname node4
[root@localhost ~] # bash
所有节点(这里使用node1作为示范)
[root@node1 ~] # systemctl stop firewalld
[root@node1 ~] # setenforce 0
[root@node1 ~] # vim /opt/fdisk.sh
#!/bin/bash
NEWDEV=`ls /dev/sd* | grep -o 'sd[b-z]' | uniq`
for VAR in $NEWDEV
do
echo -e "n\np\n\n\n\nw\n" | fdisk /dev/$VAR &> /dev/null
mkfs.xfs /dev/${VAR}"1" &> /dev/null
mkdir -p /data/${VAR}"1" &> /dev/null
echo "/dev/${VAR}"1" /data/${VAR}"1" xfs defaults 0 0" >> /etc/fstab
done
mount -a &> /dev/null
========》wq
[root@node1 ~] # chmod +x /opt/fdisk.sh
[root@node1 ~] # cd /opt/
[root@node1 /opt] # ./fdisk.sh
[root@node1 /opt] # echo "192.168.226.10 node1" >> /etc/hosts
[root@node1 /opt] # echo "192.168.226.20 node2" >> /etc/hosts
[root@node1 /opt] # echo "192.168.226.30 node3" >> /etc/hosts
[root@node1 /opt] # echo "192.168.226.40 node4" >> /etc/hosts
[root@node1 /opt] # ls
fdisk.sh rh
[root@node1 /opt] # rz -E
rz waiting to receive.
[root@node1 /opt] # ls
fdisk.sh gfsrepo.zip rh
[root@node1 /opt] # unzip gfsrepo.zip
[root@node1 /opt] # cd /etc/yum.repos.d/
[root@node1 /etc/yum.repos.d] # ls
local.repo repos.bak
[root@node1 /etc/yum.repos.d] # mv * repos.bak/
mv: 无法将目录"repos.bak" 移动至自身的子目录"repos.bak/repos.bak" 下
[root@node1 /etc/yum.repos.d] # ls
repos.bak
[root@node1 /etc/yum.repos.d] # vim glfs.repo
[glfs]
name=glfs
baseurl=file:///opt/gfsrepo
gpgcheck=0
enabled=1
:wq
[root@node1 /etc/yum.repos.d] # yum clean all && yum makecache
已加载插件:fastestmirror, langpacks
正在清理软件源: glfs
Cleaning up everything
Maybe you want: rm -rf /var/cache/yum, to also free up space taken by orphaned data from disabled or removed repos
已加载插件:fastestmirror, langpacks
glfs | 2.9 kB 00:00:00
(1/3): glfs/filelists_db | 62 kB 00:00:00
(2/3): glfs/other_db | 46 kB 00:00:00
(3/3): glfs/primary_db | 92 kB 00:00:00
Determining fastest mirrors
元数据缓存已建立
[root@node1 /etc/yum.repos.d] # yum -y install glusterfs glusterfs-server glusterfs-fuse glusterfs-rdma
[root@node1 /etc/yum.repos.d] # systemctl start glusterd.service
[root@node1 /etc/yum.repos.d] # systemctl enable glusterd.service
Created symlink from /etc/systemd/system/multi-user.target.wants/glusterd.service to /usr/lib/systemd/system/glusterd.service.
添加节点到存储信任池中(仅需在一个节点上操作,我这里依旧在node1节点上操作)
[root@node1 ~] # gluster peer probe node1
peer probe: success. Probe on localhost not needed
[root@node1 ~] # gluster peer probe node2
peer probe: success.
[root@node1 ~] # gluster peer probe node3
peer probe: success.
[root@node1 ~] # gluster peer probe node4
peer probe: success.
[root@node1 ~] # gluster peer status
Number of Peers: 3
Hostname: node2
Uuid: 2ee63a35-6e83-4a35-8f54-c9c0137bc345
State: Peer in Cluster (Connected)
Hostname: node3
Uuid: e63256a9-6700-466f-9279-3e3efa3617ec
State: Peer in Cluster (Connected)
Hostname: node4
Uuid: 9931effa-92a6-40c7-ad54-7361549dd96d
State: Peer in Cluster (Connected)
========根据以下规划创建卷=========
卷名称 卷类型 Brick
dis-volume 分布式卷 node1(/data/sdb1)、node2(/data/sdb1)
stripe-volume 条带卷 node1(/data/sdc1)、node2(/data/sdc1)
rep-volume 复制卷 node3(/data/sdb1)、node4(/data/sdb1)
dis-stripe 分布式条带卷 node1(/data/sdd1)、node2(/data/sdd1)、node3(/data/sdd1)、node4(/data/sdd1)
dis-rep 分布式复制卷 node1(/data/sde1)、node2(/data/sde1)、node3(/data/sde1)、node4(/data/sde1)
#创建分布式卷,没有指定类型,默认创建的是分布式卷
[root@node1 ~] # gluster volume create dis-volume node1:/data/sdb1 node2:/data/sdb1 force
volume create: dis-volume: success: please start the volume to access data
[root@node1 ~] # gluster volume list
dis-volume
[root@node1 ~] # gluster volume start dis-volume
volume start: dis-volume: success
[root@node1 ~] # gluster volume info dis-volume
#指定类型为 stripe,数值为 2,且后面跟了 2 个 Brick Server,所以创建的是条带卷
[root@node1 ~] # gluster volume create stripe-volume stripe 2 node1:/data/sdc1 node2:/data/sdc1 force
volume create: stripe-volume: success: please start the volume to access data
[root@node1 ~] # gluster volume start stripe-volume
volume start: stripe-volume: success
[root@node1 ~] # gluster volume info stripe-volume
#指定类型为 replica,数值为 2,且后面跟了 2 个 Brick Server,所以创建的是复制卷
[root@node1 ~] # gluster volume create rep-volume replica 2 node3:/data/sdb1 node4:/data/sdb1 force
volume create: rep-volume: success: please start the volume to access data
[root@node1 ~] # gluster volume start rep-volume
volume start: rep-volume: success
[root@node1 ~] # gluster volume info rep-volume
Volume Name: rep-volume
Type: Replicate
Volume ID: 9d39a2a6-b71a-44a5-8ea5-5259d8aef518
Status: Started
Snapshot Count: 0
Number of Bricks: 1 x 2 = 2
Transport-type: tcp
Bricks:
Brick1: node3:/data/sdb1
Brick2: node4:/data/sdb1
Options Reconfigured:
transport.address-family: inet
nfs.disable: on
指定类型为 stripe,数值为 2,而且后面跟了 4 个 Brick Server,是 2 的两倍,所以创建的是分布式条带卷
[root@node1 ~] # gluster volume create dis-stripe stripe 2 node1:/data/sdd1 node2:/data/sdd1 node3:/data/sdd1 node4:/data/sdd1 force
volume create: dis-stripe: success: please start the volume to access data
[root@node1 ~] # gluster volume start dis-stripe
volume start: dis-stripe: success
[root@node1 ~] # gluster volume info dis-stripe
指定类型为 replica,数值为 2,而且后面跟了 4 个 Brick Server,是 2 的两倍,所以创建的是分布式复制卷
[root@node1 ~] # gluster volume create dis-rep replica 2 node1:/data/sde1 node2:/data/sde1 node3:/data/sde1 node4:/data/sde1 force
volume create: dis-rep: success: please start the volume to access data
[root@node1 ~] # gluster volume start dis-rep
volume start: dis-rep: success
[root@node1 ~] # gluster volume info dis-rep
部署Gluster客户端(192.168.40.200)
1.关闭防火墙并安装客户端软件
systemctl stop firewalld
setenforce 0
cd /opt
#将gfsrepo 软件上传到/opt目下
unzip gfsrepo.zip
cd /etc/yum.repos.d/
mkdir repo.bak
mv *.repo repo.bak
vim glfs.repo
[glfs]
name=glfs
baseurl=file:///opt/gfsrepo
gpgcheck=0
enabled=1
yum clean all && yum makecache
yum -y install glusterfs glusterfs-fuse
2.创建挂载目录
mkdir -p /test/{dis,stripe,rep,dis_stripe,dis_rep}
ls /test
3.配置 /etc/hosts 文件
echo "192.168.40.16 node1" >> /etc/hosts
echo "192.168.40.17 node2" >> /etc/hosts
echo "192.168.40.170 node3" >> /etc/hosts
echo "192.168.40.172 node4" >> /etc/hosts
4.挂载 Gluster 文件系统
#临时挂载
mount.glusterfs node1:dis-volume /test/dis
mount.glusterfs node1:stripe-volume /test/stripe
mount.glusterfs node1:rep-volume /test/rep
mount.glusterfs node1:dis-stripe /test/dis_stripe
mount.glusterfs node1:dis-rep /test/dis_rep
#永久挂载
vim /etc/fstab
1.卷中写入文件,客户端操作
cd /opt
dd if=/dev/zero of=/opt/demo1.log bs=1M count=40
dd if=/dev/zero of=/opt/demo2.log bs=1M count=40
dd if=/dev/zero of=/opt/demo3.log bs=1M count=40
dd if=/dev/zero of=/opt/demo4.log bs=1M count=40
dd if=/dev/zero of=/opt/demo5.log bs=1M count=40
2.查看文件分布
#查看分布式文件分布
[root@node1 ~]# ls -lh /data/sdb1 #数据没有被分片
[root@node2 ~]# ll -h /data/sdb1
#查看条带卷文件分布
[root@node1 ~]# ls -lh /data/sdc1 #数据被分片50% 没副本 没冗余
#查看复制卷分布
[root@node3 ~]# ll -h /data/sdb1 #数据没有被分片 有副本 有冗余
[root@node4 ~]# ll -h /data/sdb1 #数据没有被分片 有副本 有冗余
#查看分布式条带卷分布
[root@node1 ~]# ll -h /data/sdd1 #数据被分片50% 没副本 没冗余
#查看分布式复制卷分布 #数据没有被分片 有副本 有冗余
[root@node1 ~]# ll -h /data/sde1
#挂起 node2 节点或者关闭glusterd服务来模拟故障
[root@node2 ~]# systemctl stop glusterd.service
#在客户端上查看文件是否正常
#分布式卷数据查看
[root@localhost test]# ll /test/dis/ #在客户机上发现少了demo5.log文件,这个是在node2上的
#条带卷
[root@localhost test]# cd /test/stripe/ #无法访问,条带卷不具备冗余性
[root@localhost stripe]# ll
#分布式条带卷
[root@localhost test]# ll /test/dis_stripe/ #无法访问,分布条带卷不具备冗余性
#分布式复制卷
[root@localhost test]# ll /test/dis_rep/ #可以访问,分布式复制卷具备冗余性
#挂起 node2 和 node4 节点,在客户端上查看文件是否正常
#测试复制卷是否正常
#测试分布式条卷是否正常
[root@localhost dis_stripe]# ll /test/dis_stripe/ #在客户机上测试没有数据
总用量 0
#测试分布式复制卷是否正常
[root@localhost dis_rep]# ll /test/dis_rep/ #在客户机上测试正常 有数据
总用量 204800
##### 上述实验测试,凡是带复制数据,相比而言,数据比较安全 #####
gluster volume stop dis-stripe
gluster volume delete dis-stripe
#仅拒绝
gluster volume set dis-rep auth.deny 192.168.40.172
#仅允许
gluster volume set dis-rep auth.allow 192.168.40.* #设置192.168.40.0网段的所有IP地址都能访问dis-rep卷(分布式复制卷)