GFS分布式文件系统

（一）GFS（glusterFS）

1、GFS：开源的分布式的文件系统

2、GFS：存储服务器、客户端以及网络（NFS/samba）网关

3、传统老式的分布式系统元服务器，元服务器保存存储节点的目录树信息，一旦元服务器故障，所有的存储节点全部失效

4、GFS的工作方式

（1）当前GFS取消了元服务器机制，数据横向扩展能力更强，可靠性更强，存储效率更高

5、GFS的特点

（1）扩展性更强，高性能

（2）高可用（备份），可以自动对文件进行复制，多次复制，确保数据总是可以访问，那怕硬件故障也能正常访问

（3）全局统一的命名空间，所有节点都在一个分支的管理之下，客户端访问分支节点即可

（4）弹性卷，类似LVM（不同硬盘上的不同分区组成一个逻辑硬盘），不同服务器上的不同的硬盘的分区组成一个卷，可以动态的扩容，增加新的节点

（5）基于标准协议，GFS存储服务支持NFS、FTP、HTTP以及自身的GFS协议，应用程序可以直接使用数据

（二）GFS的组件和术语

1、BRICK（存储块），存储服务器提供的用于物理存储的专用分区，GFS当中的基本存储单位，也是对外提供的存储目录，由服务和目录的绝对路径组成

（1）server:dir

20.0.0.20:/opt/gfs

node1:/opt/gfs

2、volume（逻辑卷），一个逻辑卷就是一组brick的集合，类似于lvm，管理GFS就是管理这些卷

3、FUSE：GFS的内核模块，允许用户创建自己的文件系统

4、VFS：内核空间对用户提供的访问磁盘的接口，虚拟接口

5、服务端在每个存储节点上都要允许，glusterd（后台管理进程）

（三）GFS的工作流程

（四）GFS的卷的类型

1、分布式卷，GFS的默认卷类型

2、条带卷，6.0后取消（没了）

3、复制卷（镜像化）

4、分布式复制卷（工作中使用）

（五）分布式卷的特点

1、把文件数据通过hash算法分布到设置的所有brick server上，GFS的默认卷，属于raid0，没有容错机制

2、在分布式卷模式下，没有对文件进行分块，直接存储在某个server的节点上，存取效率也没有提高，直接使用本地文件系统进行存储

（六）复制卷的特点（类似于raid1）

1、文件会同步在多个brick server上，读性能很高，写性能稍差

2、复制卷具备冗余，坏一个节点不影响数据，但要保存副本，磁盘利用率低50%

（七）分布式复制卷的特点（工作中使用最多）

1、复制卷：两两复制，文件会在组内同步，不同的组之间数据未必同步

（八）实验架构

1、四台服务器

node1：20.0.0.10

node2：20.0.0.20

node3：20.0.0.30

node4：20.0.0.70

2、在每台服务器节点上创建磁盘分区和挂载点

（1）/dev/sdb1——/data/sdb1

（2）/dev/sdc1——/data/sdc1

（3）/dev/sdd1——/data/sdd1

3、客户端：20.0.0.11

4、同步操作

（1）编写自动创建磁盘分区的脚本

（2）添加硬盘

（3）执行脚本

若脚本未执行：

（4）修改主机名

做映射（识别主机名）

（5）安装GFS

安装官网源：yum -y install centos-release-gluster

安装在线源：yum -y install epel-release.noarch

安装GFS服务：

yum clean all && yum makecache

yum -y install glusterfs glusterfs-server glusterfs-fuse glusterfs-rdma

报错解决：

（6）起服务

（7）查看版本

5、添加节点服务器，形成一个存储信任池

（1）查看节点（所有服务器）

（九）创建卷（3种）

1、分布式卷

（1）创建分布式卷

gluster volume create fenbu node1:/data/sdb1 node2:/data/sdb1 force

gluster volume create：创建新卷，默认就是分布式卷

fenbushi：卷名，唯一不可重复

node1:/data/sob1 node2:data/sob1：节点（挂载目录）

force：表示强制

（2）配置客户端

①安装客户端组件：

yum -y install glusterfs glusterfs-fuse

②映射：

③创建目录、挂载

临时挂载：

永久挂载：先解挂载，再挂载

（3）写入测试

客户端：

节点服务器：

2、复制卷

（1）创建复制卷

gluster volume create fuzhi replica 2 node2:/data/sdc1 node3:/data/sdc1 force

replica 2：设置复制策略，2表示两两复制，该数字要小于等于存储节点，不能比存储节点多，否则创建失败

（2）配置客户端

节点通用，在任意节点挂载皆可

（3）测试

客户端：

节点服务器：

3、分布式复制卷

（1）创建分布式复制卷

①gluster volume create fenbufuzhi replica 2 node1:/data/sdd1 node2:/data/sdd1 node3:/data/sdd1 node4:/data/sdd1 force

②gluster volume create fenbufuzhi replica 4 node1:/data/sdd1 node2:/data/sdd1 node3:/data/sdd1 node4:/data/sdd1 force

（2）配置客户端

（3）测试

（4）总结

①分布式复制卷是最常用的分布式文件存储方式，根据策略，存储文件时还是分布式的存储方式，分开存储，但是会进行复制，所以也拥有冗余的功能，但是磁盘的利用率只有50%

（十）GFS的其他维护命令

1、查看所有卷的信息：gluster volume status

2、查看所有节点状态：gluster peer status

3、删除卷（若是运行状态，要先停再删）

gluster volume stop fuzhi：

gluster volume delete fuzhi：

4、停止节点（节点上有卷不可以停止节点）：gluster peer detach node2

5、对卷进行访问控制

（1）对IP地址进行访问：

对网段进行访问控制：

（2）客户端访问GFS卷，通过挂载的方式实现

（十一）总结

1、GFS分布式存储系统

（1）分布式卷

（2）分布式复制卷（重点）

2、工作性质（与raid的区别）

（1）raid是磁盘冗余阵列，本机的磁盘冗余

（2）GFS是把多个不同服务器上的不同硬盘组合起来，形成一个卷（基于网络的虚拟磁盘），实现的是文件系统的冗余