教你如何构建GFS分布式存储平台--------带有丰富的理论知识
目录
- 一、GlusterFS概述
-
- 1.1 GlusterFS简介
- 1.2 GlusterFS的特点
- 1.3 常用术语
- 1.4 模块化堆栈式架构
- 二、GlusterFS工作原理
-
- 2.1 GlusterFS工作流程
- 2.2 弹性HASH算法
- 三、GlusterFS的卷类型
-
- 3.1 分布式卷
- 3.2 条带卷
- 3.3 复制卷
- 3.4 分布式条带卷
- 3.5 分布式复制卷
- 四、部署群集环境
-
- 4.1 部署群集环境
- 五、创建卷、部署客户端、测试文件系统
-
- 5.1 创建卷
- 5.2 测试GlusterFS文件系统
- 5.3 其他维护命令
- 六、实验
-
- 6.1 节点服务器配置
-
- 6.1.1 关闭防火墙、核心防护
- 6.1.2 修改主机名
- 6.1.3 4个节点均设置hosts映射
- 6.1.4 glusterd的yum源配置,安装
- 6.1.5 关闭NetworkManager
- 6.2 编写脚本，为指定的磁盘创建分区并格式化
- 6.3 4个节点均时间同步
- 6.4 添加存储信息池，只要在一台节点主机上添加即可
- 6.5 所有节点服务器上可以查看所有节点
- 6.6 创建卷(以node1为例)
-
- 6.6.1 创建分布式卷
- 6.6.2 创建条带卷
- 6.6.3 创建复制卷
- 6.6.4 创建分布式条带卷
- 6.6.5 创建分布式复制卷
- 6.7 客户端配置
-
- 6.7.1 关闭防火墙、核心防护
- 6.7.2 glusterd的yum源配置(前期环境是线网源),安装
- 6.7.3 关闭NetworkManager
-
- 6.7.4 添加四个节点服务器的主机名与IP映射
- 6.7.5 临时挂载卷
-
- 6.7.6 永久挂载
- 6.8 测试(客户端上)
-
- 6.8.1 创建5个40M的文件
- 6.8.2 复制5个文件到不同的卷上
- 6.8.3 查看分布式卷
- 6.8.4 查看条带卷文件分布
- 6.8.5 查看复制卷文件分布
- 6.8.6 查看分布式条带卷
- 6.8.7 查看分布式复制卷
- 6.9 破坏测试
-
- 6.9.1 关闭node2服务器(init 0)在client上观察结果
- 6.9.2 将node4关机，查看效果
- 6.10 其他维护命令
-
- 6.10.1 停止卷
- 6.10.2 删除卷
- 6.10.3 设置卷的访问状态
- 6.10.4 查看GlusterFS卷
- 6.10.5 查看所有卷的信息
- 6.10.6 查看所有卷的状态
一、GlusterFS概述
1.1 GlusterFS简介
■开源的分布式文件系统，是Scale存储的核心,能够处理千数量级的客户端
■由存储服务器、客户端以及NFS/Samba 存储网关组成
■无元数据服务器
1.2 GlusterFS的特点
■扩展性和高性能
■高可用性
■全局统一命名空间
■弹性卷管理
■基于标准协议
1.3 常用术语
■Brick:GFS中的存储单元，通过是一个受信存储池中的服务器的一个导出目录。可以通过主机名和目录名来标识，如’SERVER:EXPORT’
■Volume：卷
■FUSE：内核文件系统，Filesystem Userspace是一个可加载的内核模块，其支持非特权用户创建自己的文件系统而不需要修改内核代码。通过在用户空间运行文件系统的代码通过FUSE代码与内核进行桥接。
■VFS：虚拟文件系统
■Glusterd：Gluster management daemon，要在trusted storage pool中所有的服务器上运行。
1.4 模块化堆栈式架构
■模块化、堆栈式的架构
■通过对模块的组合，实现复杂的功能
二、GlusterFS工作原理
2.1 GlusterFS工作流程
■客户端或应用程序通过GlusterFS的挂载点访问数据
■linux系统内核通过VFS API收到请求并处理
■VFS将数据递交给FUSE内核文件系统, fuse文件系统则是将数据通过/dev/fuse设备文件递交给了GlusterFS client端
■GlusterFS client 收到数据后，client根据配置文件的配置对数据进行处理
■通过网络将数据传递至远端的GlusterFS Server,并且将数据写入到服务器存储设备上
2.2 弹性HASH算法
■通过HASH算法得到一个32位的整数
■划分为N个连续的子空间，每个空间对应一个Brick
■弹性HASH算法的优点
■保证数据平均分布在每一个Brick中
■解决了对元数据服务器的依赖，进而解决了单点故障以及访问瓶颈
三、GlusterFS的卷类型
3.1 分布式卷
■描述
●没有对文件进行分块处理
●通过扩展文件属性保存HASH值
●支持的底层文件系统有ext3、ext4、ZFS、XFS等
■特点
●文件分布在不同的服务器,不具备冗余性
●更容易和廉价地扩展卷的大小
●单点故障会造成数据丢失
●依赖底层的数据保护
■创建命令：创建一个名为dis-volume的分布式卷，文件将根据HASH分布在server1:/dir1 、server2:/dir2和server3:/dir3中
●gluster volume create dis-volume server1:/dir1 server2:/dir2
3.2 条带卷
■描述
●根据偏移量将文件分成N块（N个条带节点），轮询的存储在每个Brick Server节点
●存储大文件时，性能尤为突出
●不具备冗余性,类似Raid0
■特点
●数据被分割成更小块分布到块服务器群中的不同条带区
●分布减少了负载且更小的文件加速了存取的速度
●没有数据冗余
■创建命令：创建了一个名为stripe-volume的条带卷，文件将被分块轮询的存储在server1:/dir1 server2:/dir2两个Brick中
●gluster volume create stripe-volume stripe 2 transport tcp server1:/dir1 server2:/dir2
3.3 复制卷
■描述
●同一文件保存一份或多分副本
●复制模式因为要保存副本，所以磁盘利用率较低
●多个节点上的存储空间不一致，那么将按照木桶效应取最低节点的容量作为该卷的总容量
■特点
●卷中所有的服务器均保存一个完整的副本
●卷的副本数量可由客户创建的时候决定
●至少由两个块服务器或更多服务器
●具备冗余性
■创建命令：创建名为rep-volume的复制卷，文件将同时存储两个副本，分别在server1:/dir1 server2:/dir2两个Brick中
●gluster volume create rep-volume replica 2 transport tcp server1:/dir1 server2:/dir2
3.4 分布式条带卷
■描述
●兼顾分布式卷和条带卷的功能
●主要用于大文件访问处理
●至少最少需要 4 台服务器
■创建命令：创建了名为dis-stripe的分布式条带卷，配置分布式的条带卷时，卷中Brick所包含的存储服务器数必须为条带数的偶数倍数（>=2倍）
●gluster volume create dis-stripe stripe 2 transport tcp server1:/dir1 server2:/dir2 server3:/dir3 server4:/dir4
3.5 分布式复制卷
■描述
●兼顾分布式卷和复制卷的功能
●用于需要冗余的情况下
■创建命令：创建名为dis-rep的分布式条带卷，配置分布复制卷时，卷中Brick所包含的存储服务器数必须为条带数的偶数倍数（>=2倍）
●gluster volume create dis-rep replica 2 transport tcp server1:/dir1 server2:/dir2 server3:/dir3 server4:/dir4
四、部署群集环境
4.1 部署群集环境
■准备环境
■关闭防火墙和SELinux
■配置hosts文件
■安装软件
■启动GlusterFS
■添加节点
■查看集群状态
五、创建卷、部署客户端、测试文件系统
5.1 创建卷
■创建分布式卷
■创建条带卷
■创建复制卷
■创建分布式条带卷
■创建分布式复制卷
5.2 测试GlusterFS文件系统
■卷中写入文件
■查看文件分布
■破坏性测试
5.3 其他维护命令
■查看GlusterFS卷
■停止/删除卷
■设置卷的访问控制
六、实验
实验环境：
系统 IP地址 主机名 配置
centos7.6 20.0.0.10 node1 添加4块磁盘，20G
centos7.6 20.0.0.11 node2 添加4块磁盘，20G
centos7.6 20.0.0.12 node3 添加4块磁盘，20G
centos7.6 20.0.0.15 node4 添加4块磁盘，20G
centos7.6 20.0.0.16 client 测试机
实验要求：
所有节点和client均关闭防火墙、核心防护，yum源(gluster)配置，设置hosts映射，修改主机名
6.1 节点服务器配置
6.1.1 关闭防火墙、核心防护
systemctl stop firewalld
systemctl disable firewalld
setenforce 0
sed -i ‘s/^SELINUX=.*/SELINUX=disabled/’ /etc/selinux/config
getenforce
//查看模式
Enforing:强制模式，代表SELinux在运行中，且已经开始限制domain/type之间的验证关系。
Permissive:宽容模式，代表SELinux在运行中，不会限制domain/type之间的验证关系，即使验证步正确，进程仍可以对文件进行操作。不过如果验证不正确会发出警告。
Disabled:关闭模式，SELinux没有实际运行。
6.1.2 修改主机名
hostnamectl set-hostname node1
hostnamectl set-hostname node2
hostnamectl set-hostname node3
hostnamectl set-hostname node4
hostnamectl set-hostname client
su
切换用户
6.1.3 4个节点均设置hosts映射
vi /etc/hosts
20.0.0.10 node1
20.0.0.11 node2
20.0.0.12 node3
20.0.0.15 node4
node1上：
scp /etc/hosts [email protected]:/etc/hosts
scp /etc/hosts [email protected]:/etc/hosts
scp /etc/hosts [email protected]:/etc/hosts
6.1.4 glusterd的yum源配置,安装
cd /etc/yum.repos.d/
yum clean all
vi local.repo
[centos]
name=CentOS
baseurl=http://mirror.centos.org/centos/ r e l e a s e v e r / s t o r a g e / releasever/storage/ releasever/storage/basearch/gluster-3.12/
gpgcheck=0
enabled=1
#gpgkey=file:///etc/pki/rpm-gpg/RPM-GPG-KEY-CentOS-7
yum clean all
yum makecache
yum install -y glusterfs glusterfs-server glusterfs-fuse glusterfs-rdma
systemctl start glusterd
systemctl enable glusterd
systemctl status glusterd
6.1.5 关闭NetworkManager
systemctl stop NetworkManager
6.2 编写脚本，为指定的磁盘创建分区并格式化
cd /opt
vi disk.sh
#！/bin/bash
echo "the disks exist list:"
fdisk -l | grep '磁盘 /dev/sd[a-z]'
echo "=========================="
PS3="chose which disk you want to create:"
select VAR in `ls /dev/sd* | grep -o 'sd[b-z]' | uniq` quit
do
case $VAR in
sda)
fdisk -l /dev/sda
break ;;
sd[b-z])
#create partitions
echo "n
p
w" | fdisk /dev/$VAR
#make filesystem
mkfs.xfs -i size=512 /dev/${VAR}"1" &>/dev/null
#mount the system
mkdir -p /data/${VAR}"1" &>/dev/null
echo -e "/dev/${VAR}"1" /data/${VAR}"1" xfs defaults 0 0\n" >> /etc/fstab
mount -a &>/dev/null
break ;;
quit)
break ;;
*)
echo "wrong disk,please check again" ;;
esac
done
chmod +x disk.sh
./disk.sh
df -Th
node1上：
scp /opt/disk.sh [email protected]:/opt
scp /opt/disk.sh [email protected]:/opt
scp /opt/disk.sh [email protected]:/opt
6.3 4个节点均时间同步
ntpdate ntp.aliyun.com
6.4 添加存储信息池，只要在一台节点主机上添加即可
gluster peer probe node1
gluster peer probe node2
gluster peer probe node3
gluster peer probe node4
6.5 所有节点服务器上可以查看所有节点
node1节点：
gluster peer status
Number of Peers: 3
Hostname: node2
Uuid: a2f85645-d2e5-4410-b907-f6d8e8ed7c9e
State: Peer in Cluster (Connected)
Hostname: node3
Uuid: d6585ce4-f5c1-41e5-bca0-7223482b88a6
State: Peer in Cluster (Connected)
Hostname: node4
Uuid: bb574829-a9a7-47f0-b4b4-411fc99b8e9a
State: Peer in Cluster (Connected)
node2节点：
gluster peer status
Number of Peers: 3
Hostname: node1
Uuid: 0e7e86a3-f072-4fc9-97c1-e29618c96612
State: Peer in Cluster (Connected)
Hostname: node2
Uuid: 412c1678-790a-4107-9000-4fc42a5bf774
State: Peer in Cluster (Disconnected)
Hostname: node4
Uuid: fd240195-2724-4cba-bf33-7234f5c4b363
State: Peer in Cluster (Connected)
6.6 创建卷(以node1为例)
6.6.1 创建分布式卷
gluster volume create dis-volume node1:/data/sdb1 node2:/data/sdb1 force
gluster volume start dis-volume
gluster volume info dis-volume
gluster volume list
解释：
gluster volume create dis-volume node1:/data/sdb1 node2:/data/sdb1 force
//创建分布式卷,force:强制执行
volume create: dis-volume: success: please start the volume to access data
gluster volume info dis-volume
//查看分布式卷信息
Volume Name: dis-volume
Type: Distribute
Volume ID: 776a879a-eb90-4c1b-872e-d6f5fea0fc15
Status: Created
Snapshot Count: 0
Number of Bricks: 2
Transport-type: tcp
Bricks:
Brick1: node1:/data/sdb1
Brick2: node2:/data/sdb1
Options Reconfigured:
transport.address-family: inet
storage.fips-mode-rchecksum: on
nfs.disable: on
gluster volume start dis-volume
//开启分布式卷
volume start: dis-volume: success
gluster volume info dis-volume
//查看分布式卷信息
Status: Started
gluster volume list
dis-volume
6.6.2 创建条带卷
gluster volume create stripe-volume stripe 2 node1:/data/sdc1 node2:/data/sdc1 force
gluster volume start stripe-volume
6.6.3 创建复制卷
gluster volume create rep-volume replica 2 node3:/data/sdb1 node4:/data/sdb1 force
gluster volume start rep-volume
6.6.4 创建分布式条带卷
gluster volume create dis-stripe stripe 2 node1:/data/sdd1 node2:/data/sdd1 node3:/data/sdd1 node4:/data/sdd1 force
gluster volume start dis-stripe
6.6.5 创建分布式复制卷
gluster volume create dis-rep replica 2 node1:/data/sde1 node2:/data/sde1 node3:/data/sde1 node4:/data/sde1 force
gluster volume start dis-rep
6.7 客户端配置
6.7.1 关闭防火墙、核心防护
systemctl stop firewalld
systemctl disable firewalld
setenforce 0
sed -i ‘s/^SELINUX=.*/SELINUX=disabled/’ /etc/selinux/config
6.7.2 glusterd的yum源配置(前期环境是线网源),安装
cd /etc/yum.repos.d/
yum clean all
vi local.repo
[centos]
name=CentOS
baseurl=http://mirror.centos.org/centos/ r e l e a s e v e r / s t o r a g e / releasever/storage/ releasever/storage/basearch/gluster-3.12/
gpgcheck=0
enabled=1
#gpgkey=file:///etc/pki/rpm-gpg/RPM-GPG-KEY-CentOS-7
yum clean all
yum makecache
yum install -y glusterfs glusterfs-fuse
systemctl start glusterd
systemctl enable glusterd
systemctl status glusterd
6.7.3 关闭NetworkManager
systemctl stop NetworkManager
6.7.4 添加四个节点服务器的主机名与IP映射
vi /etc/hosts
20.0.0.10 node1
20.0.0.11 node2
20.0.0.12 node3
20.0.0.15 node4
6.7.5 临时挂载卷
mkdir -p /text/dis /text/stripe /text/rep /text/dis_stripe /text/dis_rep
//创建挂载目录
mount -t glusterfs node1:dis-volume /text/dis
mount -t glusterfs node1:stripe-volume /text/stripe
mount -t glusterfs node3:rep-volume /text/rep
mount -t glusterfs node2:dis-stripe /text/dis_stripe
mount -t glusterfs node4:dis-rep /text/dis_rep
6.7.6 永久挂载
vi /etc/fstab
node1:dis-volume /text/dis glusterfs defaults,_netdev 0 0
node1:stripe-volume /text/stripe glusterfs defaults,_netdev 0 0
node3:rep-volume /text/rep glusterfs defaults,_netdev 0 0
node2:dis-stripe /text/dis_stripe glusterfs defaults,_netdev 0 0
node4:dis-rep /text/dis_rep glusterfs defaults,_netdev 0 0
6.8 测试(客户端上)
6.8.1 创建5个40M的文件
dd if=/dev/zero of=/demo1.log bs=1M count=40
dd if=/dev/zero of=/demo2.log bs=1M count=40
dd if=/dev/zero of=/demo3.log bs=1M count=40
dd if=/dev/zero of=/demo4.log bs=1M count=40
dd if=/dev/zero of=/demo5.log bs=1M count=40
6.8.2 复制5个文件到不同的卷上
cp /demo /text/dis
cp /demo /text/stripe/
cp /demo* /text/rep/
cp /demo* /text/dis_stripe/
cp /demo* /text/dis_rep/**
6.8.3 查看分布式卷
ll -h /data/sdb1(node1)
total 160M
-rw-r–r-- 2 root root 40M Oct 27 17:28 demo1.log
-rw-r–r-- 2 root root 40M Oct 27 17:28 demo2.log
-rw-r–r-- 2 root root 40M Oct 27 17:28 demo3.log
-rw-r–r-- 2 root root 40M Oct 27 17:28 demo4.log
ll -h /data/sdb1(node2)
total 40M
-rw-r–r-- 2 root root 40M Oct 27 05:28 demo5.log
6.8.4 查看条带卷文件分布
ll -h /data/sdc1(node1)
total 100M
-rw-r–r-- 2 root root 20M Oct 27 17:28 demo1.log
-rw-r–r-- 2 root root 20M Oct 27 17:28 demo2.log
-rw-r–r-- 2 root root 20M Oct 27 17:28 demo3.log
-rw-r–r-- 2 root root 20M Oct 27 17:28 demo4.log
-rw-r–r-- 2 root root 20M Oct 27 17:28 demo5.log
ll -h /data/sdc1(node2)
total 100M
-rw-r–r-- 2 root root 20M Oct 27 05:28 demo1.log
-rw-r–r-- 2 root root 20M Oct 27 05:28 demo2.log
-rw-r–r-- 2 root root 20M Oct 27 05:28 demo3.log
-rw-r–r-- 2 root root 20M Oct 27 05:28 demo4.log
-rw-r–r-- 2 root root 20M Oct 27 05:28 demo5.log
6.8.5 查看复制卷文件分布
ll -h /data/sdb1(node3)
total 200M
-rw-r–r-- 2 root root 40M Oct 27 17:28 demo1.log
-rw-r–r-- 2 root root 40M Oct 27 17:28 demo2.log
-rw-r–r-- 2 root root 40M Oct 27 17:28 demo3.log
-rw-r–r-- 2 root root 40M Oct 27 17:28 demo4.log
-rw-r–r-- 2 root root 40M Oct 27 17:28 demo5.log
ll -h /data/sdb1(node4)
total 200M
-rw-r–r-- 2 root root 40M Oct 27 17:28 demo1.log
-rw-r–r-- 2 root root 40M Oct 27 17:28 demo2.log
-rw-r–r-- 2 root root 40M Oct 27 17:28 demo3.log
-rw-r–r-- 2 root root 40M Oct 27 17:28 demo4.log
-rw-r–r-- 2 root root 40M Oct 27 17:28 demo5.log
6.8.6 查看分布式条带卷
ll -h /data/sdd1(node1)
total 80M
-rw-r–r-- 2 root root 20M Oct 27 17:28 demo1.log
-rw-r–r-- 2 root root 20M Oct 27 17:28 demo2.log
-rw-r–r-- 2 root root 20M Oct 27 17:28 demo3.log
-rw-r–r-- 2 root root 20M Oct 27 17:28 demo4.log
ll -h /data/sdd1(node2)
total 80M
-rw-r–r-- 2 root root 20M Oct 27 05:28 demo1.log
-rw-r–r-- 2 root root 20M Oct 27 05:28 demo2.log
-rw-r–r-- 2 root root 20M Oct 27 05:28 demo3.log
-rw-r–r-- 2 root root 20M Oct 27 05:28 demo4.log
ll -h /data/sdd1(node3)
total 20M
-rw-r–r-- 2 root root 20M Oct 27 17:28 demo5.log
ll -h /data/sdd1(node4)
total 20M
-rw-r–r-- 2 root root 20M Oct 27 17:28 demo5.log
6.8.7 查看分布式复制卷
ll -h /data/sde1(node1)
total 160M
-rw-r–r-- 2 root root 40M Oct 27 17:28 demo1.log
-rw-r–r-- 2 root root 40M Oct 27 17:28 demo2.log
-rw-r–r-- 2 root root 40M Oct 27 17:28 demo3.log
-rw-r–r-- 2 root root 40M Oct 27 17:28 demo4.log
ll -h /data/sde1(node2)
total 160M
-rw-r–r-- 2 root root 40M Oct 27 05:28 demo1.log
-rw-r–r-- 2 root root 40M Oct 27 05:28 demo2.log
-rw-r–r-- 2 root root 40M Oct 27 05:28 demo3.log
-rw-r–r-- 2 root root 40M Oct 27 05:28 demo4.log
ll -h /data/sde1(node3)
total 40M
-rw-r–r-- 2 root root 40M Oct 27 17:28 demo5.log
ll -h /data/sde1(node4)
total 40M
-rw-r–r-- 2 root root 40M Oct 27 17:28 demo5.log
6.9 破坏测试
6.9.1 关闭node2服务器(init 0)在client上观察结果
注意：这时在client上输入命令ls /text出现死机状态，只需要重启client即可解决
分布式卷：
ls /text/dis
demo1.log demo2.log demo3.log demo4.log
//原本存储在node2上的demo5.log文件消失
条带卷：
ls /text/stripe/
//因为数据分片的，所以node2关机后，数据都消失了
分布式条带卷：
ls /text/dis_stripe/
demo5.log
//发现分布式的方式存储的demo5没有消失（存储在node3和node4上的）
分布式复制卷：
ls /text/dis_rep/
demo1.log demo2.log demo3.log demo4.log demo5.log
//发现断点测试对于分布式复制卷没有影响
复制卷：
ls /text/rep
demo1.log demo2.log demo3.log demo4.log demo5.log
//数据都在，测试正常
6.9.2 将node4关机，查看效果
分布式复制卷：
ls /text/dis_rep/
demo1.log demo2.log demo3.log demo4.log demo5.log
//正常，所有数据都没有消失
分布式条带卷：
ls /text/dis_stripe/
//发现在node4关机后，原本存在的demo5.log文件也消失了
复制卷：
ls /text/rep
demo1.log demo2.log demo3.log demo4.log demo5.log
//数据都在，测试正常
6.10 其他维护命令
6.10.1 停止卷
gluster volume stop dis-volume
6.10.2 删除卷
注意：删除卷时，信任池中不能有主机处于宕机状态，否则删除不成功
gluster volume delete dis-volume
6.10.3 设置卷的访问状态
gluster volume set dis-rep auth.allow 20.0.0.18
//仅允许，设置20.0.0.18地址能访问dis-rep卷（分布式复制卷）
gluster volume set dis-rep auth.reject 20.0.0.18
//仅拒绝，设置20.0.0.18地址不能访问dis-rep卷（分布式复制卷）
6.10.4 查看GlusterFS卷
gluster volume list
6.10.5 查看所有卷的信息
gluster volume info
6.10.6 查看所有卷的状态
gluster volume status