GFS分布式文件系统

目录

GFS

GFS简介

GFS特点

GFS术语

GFS工作流程

GFS卷类型

部署GFS群集

安装、启动GFS(所有node节点上操作)

创建卷

创建分布式卷

创建条带卷

 创建复制卷

 创建分布式条带卷

 创建分布式复制卷

查看当前所有卷的列表

​编辑部署 Gluster 客户端

创建挂载目录

 配置/etc/hosts文件

 挂载 Gluster 文件系统

测试 Gluster 文件系统 

查看文件分布

破坏性测试

分布式卷数据查看         

条带卷

分布式条带卷

分布式复制卷

挂起 node2 和 node4 节点,在客户端上查看文件是否正常

 测试复制卷是否正常

测试分布式条卷是否正常

测试分布式复制卷是否正常

扩展其他的维护命令


GFS

GFS简介

开源的分布式文件系统

由存储服务器、客户端以及NFS/Samba存储网关组成

无元数据服务器

GFS特点

扩展性和高性能:分布式的特性

高可用性:冗余 有容灾的能力

全局统一命名空间:每个空间都可以做一个数据隔离

弹性卷管理:raid0  1  5  10

基于标准协议:你支持的协议:GFS  http  NFS  FTP

GFS术语

Brick(存储块):指可信主机池中由主机提供的用于物理存储的专用分区,是GlusterFS中的基本存储单元,同时也是可信存储池中服务器上对外提供的存储目录。

Volume(逻辑卷):一个逻辑卷是一组 Brick 的集合。卷是数据存储的逻辑设备,类似于 LVM 中的逻辑卷。大部分 Gluster 管理操作是在卷上进行的。

FUSE:是一个内核模块,允许用户创建自己的文件系统,无须修改内核代码。伪文件系统

VFS:内核空间对用户空间提供的访问磁盘的接口。虚拟端口

Glusterd(后台管理进程):服务端  在存储群集中的每个节点上都要运行。

GFS工作流程

(1)客户端或应用程序通过 GlusterFS 的挂载点访问数据。

(2)linux系统内核通过 VFS API 收到请求并处理。

(3)VFS 将数据递交给 FUSE 内核文件系统,并向系统注册一个实际的文件系统 FUSE,而 FUSE 文件系统则是将数据通过 /dev/fuse 设备文件递交给了 GlusterFS client 端。可以将 FUSE 文件系统理解为一个代理。

(4)GlusterFS client 收到数据后,client 根据配置文件的配置对数据进行处理。

(5)经过 GlusterFS client 处理后,通过网络将数据传递至远端的 GlusterFS Server,并且将数据写入到服务器存储设备上。

GFS卷类型

分布式卷:文件通过 HASH 算法分布到所有 Brick Server 上,这种卷是 GlusterFS 的默认卷;以文件为单位根据 HASH 算法散列到不同的 Brick,其实只是扩大了磁盘空间,如果有一块磁盘损坏,数据也将丢失,属于文件级的 RAID0, 不具有容错能力。

在该模式下,并没有对文件进行分块处理,文件直接存储在某个 Server 节点上。 由于直接使用本地文件系统进行文件存储,所以存取效率并没有提高,反而会因为网络通信的原因而有所降低。

特点:

文件分布在不同的服务器,不具备冗余性。

更容易和廉价地扩展卷的大小。

单点故障会造成数据丢失。

依赖底层的数据保护。

条带卷:类似 RAID0,文件被分成数据块并以轮询的方式分布到多个 Brick Server 上,文件存储以数据块为单位,支持大文件存储, 文件越大,读取效率越高,但是不具备冗余性。

特点:

数据被分割成更小块分布到块服务器群中的不同条带区。

分布减少了负载且更小的文件加速了存取的速度。

没有数据冗余

复制卷:将文件同步到多个 Brick 上,使其具备多个文件副本,属于文件级 RAID 1,具有容错能力。因为数据分散在多个 Brick 中,所以读性能得到很大提升,但写性能下降。

复制卷具备冗余性,即使一个节点损坏,也不影响数据的正常使用。但因为要保存副本,所以磁盘利用率较低。

特点:

卷中所有的服务器均保存一个完整的副本。

卷的副本数量可由客户创建的时候决定,但复制数必须等于卷中 Brick 所包含的存储服务器数。

至少由两个块服务器或更多服务器。

具备冗余性。

分布式条带卷:Brick Server 数量是条带数(数据块分布的 Brick 数量)的倍数,兼具分布式卷和条带卷的特点。 主要用于大文件访问处理,创建一个分布式条带卷最少需要 4 台服务器。

分布式复制卷:Brick Server 数量是镜像数(数据副本数量)的倍数,兼具分布式卷和复制卷的特点。主要用于需要冗余的情况下。

条带复制卷:类似 RAID 10,同时具有条带卷和复制卷的特点。

分布式条带复制卷:三种基本卷的复合卷,通常用于类 Map Reduce 应用。

部署GFS群集

实验环境

Node1节点:node1/192.168.10.13		  磁盘:/dev/sdb1			挂载点:/data/sdb1
											/dev/sdc1					/data/sdc1
											/dev/sdd1					/data/sdd1
											/dev/sde1					/data/sde1

Node2节点:node2/192.168.10.14		  磁盘:/dev/sdb1			挂载点:/data/sdb1
											/dev/sdc1					/data/sdc1
											/dev/sdd1					/data/sdd1
											/dev/sde1					/data/sde1

Node3节点:node3/192.168.10.15		  磁盘:/dev/sdb1			挂载点:/data/sdb1
											/dev/sdc1					/data/sdc1
											/dev/sdd1					/data/sdd1
											/dev/sde1					/data/sde1

Node4节点:node4/192.168.10.16		  磁盘:/dev/sdb1			挂载点:/data/sdb1
											/dev/sdc1					/data/sdc1
											/dev/sdd1					/data/sdd1
											/dev/sde1					/data/sde1


systemctl stop firewalld
setenforce 0

每台添加4块硬盘  添加完重新启动虚拟机

GFS分布式文件系统_第1张图片

GFS分布式文件系统_第2张图片

GFS分布式文件系统_第3张图片

磁盘分区,并挂载,因为要做四台机器写个脚本方便刷

GFS分布式文件系统_第4张图片

chmod +x /opt/fdisk.sh  #加上执行权限
./fdisk.sh              #执行脚本

GFS分布式文件系统_第5张图片

每台机器修改主机名

安装、启动GFS(所有node节点上操作)

 一样刷脚本 

GFS分布式文件系统_第6张图片

yum -y install centos-release-gluster            #如采用官方 YUM 源安装,可以直接指向互联网仓库

GFS分布式文件系统_第7张图片

GFS分布式文件系统_第8张图片

 添加节点到存储信任池中(在 node1 节点上操作)

#只要在一台Node节点上添加其它节点即可
gluster peer probe node1
gluster peer probe node2
gluster peer probe node3
gluster peer probe node4

#在每个Node节点上查看群集状态
gluster peer status

GFS分布式文件系统_第9张图片

GFS分布式文件系统_第10张图片

创建卷

#根据规划创建如下卷:
卷名称 				卷类型				Brick
dis-volume			分布式卷			node1(/data/sdb1)、node2(/data/sdb1)
stripe-volume		条带卷				node1(/data/sdc1)、node2(/data/sdc1)
rep-volume			复制卷				node3(/data/sdb1)、node4(/data/sdb1)
dis-stripe			分布式条带卷		node1(/data/sdd1)、node2(/data/sdd1)、node3(/data/sdd1)、node4(/data/sdd1)
dis-rep				分布式复制卷		node1(/data/sde1)、node2(/data/sde1)、node3(/data/sde1)、node4(/data/sde1)

创建分布式卷

GFS分布式文件系统_第11张图片

创建条带卷

GFS分布式文件系统_第12张图片

 创建复制卷

GFS分布式文件系统_第13张图片

 创建分布式条带卷

GFS分布式文件系统_第14张图片

 创建分布式复制卷

GFS分布式文件系统_第15张图片

查看当前所有卷的列表

GFS分布式文件系统_第16张图片部署 Gluster 客户端

yum -y install glusterfs glusterfs-fuse

GFS分布式文件系统_第17张图片

 GFS分布式文件系统_第18张图片

GFS分布式文件系统_第19张图片

创建挂载目录

 配置/etc/hosts文件

echo "192.168.131.100 node1" >> /etc/hosts
echo "192.168.131.101 node2" >> /etc/hosts
echo "192.168.131.102 node3" >> /etc/hosts
echo "192.168.131.103 node4" >> /etc/hosts

GFS分布式文件系统_第20张图片

 挂载 Gluster 文件系统

#临时挂载
mount.glusterfs node1:dis-volume /test/dis
mount.glusterfs node1:stripe-volume /test/stripe
mount.glusterfs node1:rep-volume /test/rep
mount.glusterfs node1:dis-stripe /test/dis_stripe
mount.glusterfs node1:dis-rep /test/dis_rep

#永久挂载
vim /etc/fstab
node1:dis-volume		/test/dis				glusterfs		defaults,_netdev		0 0
node1:stripe-volume		/test/stripe			glusterfs		defaults,_netdev		0 0
node1:rep-volume		/test/rep				glusterfs		defaults,_netdev		0 0
node1:dis-stripe		/test/dis_stripe		glusterfs		defaults,_netdev		0 0
node1:dis-rep			/test/dis_rep			glusterfs		defaults,_netdev		0 0

GFS分布式文件系统_第21张图片

测试 Gluster 文件系统 

卷中写入文件,客户端操作

dd if=/dev/zero of=/opt/demo1.log bs=1M count=40
dd if=/dev/zero of=/opt/demo2.log bs=1M count=40
dd if=/dev/zero of=/opt/demo3.log bs=1M count=40
dd if=/dev/zero of=/opt/demo4.log bs=1M count=40
dd if=/dev/zero of=/opt/demo5.log bs=1M count=40

ls -lh /opt

GFS分布式文件系统_第22张图片

查看文件分布

查看分布式文件分布    #数据没有被分片

GFS分布式文件系统_第23张图片

GFS分布式文件系统_第24张图片

 查看条带卷文件分布            #数据被分片50% 没副本 没冗余

GFS分布式文件系统_第25张图片

GFS分布式文件系统_第26张图片

 查看复制卷分布                #数据没有被分片 有副本 有冗余

GFS分布式文件系统_第27张图片

GFS分布式文件系统_第28张图片

 查看分布式条带卷分布                         #数据被分片50% 没副本 没冗余GFS分布式文件系统_第29张图片

GFS分布式文件系统_第30张图片

 GFS分布式文件系统_第31张图片

GFS分布式文件系统_第32张图片

 查看分布式复制卷分布                        #数据没有被分片 有副本 有冗余

GFS分布式文件系统_第33张图片

GFS分布式文件系统_第34张图片

 

GFS分布式文件系统_第35张图片

破坏性测试

通过挂起node2客户机模拟故障

 GFS分布式文件系统_第36张图片

在客户端上查看文件是否正常

分布式卷数据查看         

在客户机上发现少了demo5.log文件,这个是在node2上的GFS分布式文件系统_第37张图片

条带卷

GFS分布式文件系统_第38张图片

分布式条带卷

分布式复制卷

GFS分布式文件系统_第39张图片

挂起 node2 和 node4 节点,在客户端上查看文件是否正常

GFS分布式文件系统_第40张图片

 测试复制卷是否正常

GFS分布式文件系统_第41张图片

测试分布式条卷是否正常

测试分布式复制卷是否正常

GFS分布式文件系统_第42张图片

总结:上述实验测试,凡是带复制数据,相比而言,数据比较安全

扩展其他的维护命令

1.查看GlusterFS卷
gluster volume list 

2.查看所有卷的信息
gluster volume info

3.查看所有卷的状态
gluster volume status

4.停止一个卷
gluster volume stop dis-stripe

5.删除一个卷,注意:删除卷时,需要先停止卷,且信任池中不能有主机处于宕机状态,否则删除不成功
gluster volume delete dis-stripe

6.设置卷的访问控制
#仅拒绝
gluster volume set dis-rep auth.deny 192.168.80.100

#仅允许
gluster volume set dis-rep auth.allow 192.168.80.*	  #设置192.168.80.0网段的所有IP地址都能访问dis-rep卷(分布式复制卷)


安装报错:版本过高,先解除依赖关系

yum remove glusterfs-api.x86_64 glusterfs-cli.x86_64 glusterfs.x86_64 glusterfs-libs.x86_64 glusterfs-client-xlators.x86_64 glusterfs-fuse.x86_64 -y

你可能感兴趣的:(服务器,数据库,负载均衡)