基于openEuler搭建Glusterfs集群实验

一、环境准备

主机名	IP地址	备注
openEuler-1	192.168.121.11	节点1（提供两块5G硬盘）
openEuler-2	192.168.121.12	节点2（提供两块5G硬盘）
openEuler-3	192.168.121.13	节点3（提供两块5G硬盘）
openEuler-4	192.168.121.14	客户端

二、节点配置

1、磁盘分区

以节点1为例：

[root@openEuler-1 ~]# lsblk
NAME         MAJ:MIN RM  SIZE RO TYPE MOUNTPOINTS
sda            8:0    0   40G  0 disk
├─sda1         8:1    0    1G  0 part /boot
└─sda2         8:2    0   39G  0 part
  ├─openeuler-root
  │          253:0    0   37G  0 lvm  /
  └─openeuler-swap
             253:1    0    2G  0 lvm  [SWAP]
sdb            8:16   0    5G  0 disk
sdc            8:32   0    5G  0 disk
sr0           11:0    1  3.8G  0 rom

# fdisk将添加两块硬盘每个划分一个分区，即/dev/sdb1和/dev/sdc1
[root@openEuler-1 ~]# fdisk /dev/sdb
[root@openEuler-1 ~]# fdisk /dev/sdc

# 对创建出来的磁盘进行格式化
[root@openEuler-1 ~]# mkfs.xfs /dev/sdb1
[root@openEuler-1 ~]# mkfs.xfs /dev/sdc1

# 节点2、3重复上面操作

2、磁盘挂载

# 创建挂载点
[root@openEuler-1 ~]# mkdir -p /exp/vd{b,c}1

# 配置永久挂载磁盘分区
[root@openEuler-1 ~]# echo "/dev/sdb1 /exp/vdb1 xfs defaults 0 0" >> /etc/fstab
[root@openEuler-1 ~]# echo "/dev/sdc1 /exp/vdc1 xfs defaults 0 0" >> /etc/fstab
[root@openEuler-1 ~]# mount -a


# 节点2、3重复上面操作

3、配置hosts解析

# 各节点更改对应主机名，这里以node-1为例
[root@openEuler-1 ~]# hostnamectl set-hostname node-1

# 配置主机解析
[root@openEuler-1 ~]# vim /etc/hosts
192.168.121.11 node-1
192.168.121.12 node-2
192.168.121.13 node-3

# 节点2、3重复上面操作

4、安装GlusterFS服务端软件包

[root@node-1 ~]# yum install glusterfs-server -y
[root@node-1 ~]# systemctl enable --now glusterd.service

# 节点2、3重复上面操作

5、配置GlusterFS存储信任池

# 在node1节点上，添加其它信任池节点
[root@node-1 ~]# gluster peer probe node-2
peer probe: success
[root@node-1 ~]# gluster peer probe node-3
peer probe: success

# 查看信任池状态
[root@node-1 ~]# gluster peer status
Number of Peers: 2

Hostname: node-2
Uuid: 472a8016-3ba5-4213-9553-d79c8e3410d6
State: Peer in Cluster (Connected)

Hostname: node-3
Uuid: f3ee2f58-a5e9-4331-aad5-ea1498f1ca3a
State: Peer in Cluster (Connected)

# 查看信任池列表
[root@node-1 ~]# gluster pool list
UUID                                    Hostname        State
472a8016-3ba5-4213-9553-d79c8e3410d6    node-2          Connected
f3ee2f58-a5e9-4331-aad5-ea1498f1ca3a    node-3          Connected
e94b6392-deff-4a74-86de-9fee6010b1bc    localhost       Connected

6、创建测试卷（复制卷）

# 在node1节点上创建复制卷
[root@node-1 ~]# gluster volume create gv-rep replic 3 node-1:/exp/vdb1/brick node-2:/exp/vdb1/brick node-3:/exp/vdb1/brick
volume create: gv-rep: success: please start the volume to access data

# 使用复制卷
[root@node-1 ~]# gluster volume start gv-rep
volume start: gv-rep: success

三、客户端测试

1、安装GlusterFS客户端软件包

# 安装软件包
[root@openEuler-4 ~]# yum install glusterfs-fuse -y

# 配置hosts解析
[root@openEuler-4 ~]# vim /etc/hosts
192.168.121.11 node-1
192.168.121.12 node-2
192.168.121.13 node-3

2、客户端挂载

# 创建挂载点
[root@openEuler-4 ~]# mkdir /mnt/test1

# 挂载复制卷
[root@openEuler-4 ~]# mount.glusterfs node-1:/gv-rep /mnt/test1/

3、测试

# 客户端批量创建文件
[root@openEuler-4 test1]# touch file{1..10}
[root@openEuler-4 test1]# ls
file1  file10  file2  file3  file4  file5  file6  file7  file8  file9

# 在节点上查看（节点1、2、3一致）
[root@node-1 ~]# ls /exp/vdb1/brick/
file1  file10  file2  file3  file4  file5  file6  file7  file8  file9