某个GlusterFS节点的操作系统Down，需要重装系统和GlusterFS的场景

场景1】某个GlusterFS节点的操作系统Down，需要重装系统和GlusterFS的场景。


解决办法如下：


（1）先别启动GlusterFS服务


重新安装GlusterFS后，设置好对应的Brick目录和挂载完对应的存储，暂时别启动GlusterFS服务。


（2）获取该节点UUID信息


通过观察集群的其他节点保存的节点UUID信息，得到损坏节点的UUID信息。


ls命令查看一个完好节点的“/var/lib/glusterd/peers”目录，可以看到该集群其他节点所有的UUID，如下所示。


[root@xhw001 /var/lib/glusterd/peers>]
$ ll
total 596
-rw------- 1 root root 67 Aug 28 16:18 0177b813-a54a-4c3b-80c0-6091250a46a7
-rw------- 1 root root 67 Aug 28 16:18 017e9a87-2f98-4862-b49c-3fd3127a28d4
-rw------- 1 root root 67 Aug 28 16:18 02072b1a-ea91-4c12-99c2-0825389650e3
-rw------- 1 root root 67 Aug 28 16:18 02ef1d3a-8db6-4823-917a-4f772375d27a
-rw------- 1 root root 67 Aug 28 16:18 03f890d7-868f-4c08-97f7-5e40bec63354
-rw------- 1 root root 67 Aug 28 16:18 057cd7b6-012a-4758-96b0-130c90a344e7
-rw------- 1 root root 67 Aug 28 16:18 06a6b69d-670b-45d5-a9c5-e979d776d96f
-rw------- 1 root root 67 Aug 28 16:18 06e5f714-3b9b-4fa9-88b2-fd86ac8d7dfc


逐个观察各完好节点的本身UUID信息（cat /var/lib/glusterd/peers glusterd.info），如下所示。假设gfs001坏掉了，只能看gfs002
[root@xhw002 /var/lib/glusterd/peers>]
$ cat 5f0ea6e5-87d4-4eda-81a9-39154dd0912c
uuid=5f0ea6e5-87d4-4eda-81a9-39154dd0912c
state=3
hostname1=gfs001
[root@xhw002 /var/lib/glusterd/peers>]
$ cat ../glusterd.info 
UUID=1969c6cb-ede2-4828-a675-620e4d8adeee
operating-version=30707


得出gfs001的glusterd.info信息：
UUID=5f0ea6e5-87d4-4eda-81a9-39154dd0912c
operating-version=30707


结合图1进行排除，就可以损坏节点的原UUID信息。


（3）在损坏节点配置原UUID信息


在/var/lib/glusterd/peers目录下，新建glusterd.info，按图2的格式，将原UUID和operating-version信息写入该文件。


（4）重启GlusterFS服务


（5）在该节点执行“gluster peer probe gfs001”命令探测完好节点。


（6）在该节点执行“gluster peer status”命令观察存储池的状态，


在第（5）步命令中那个完好的节点（gf6），也执行“gluster peer status”命令观察存储池的状态，
可以看到损坏的节点（gf2）在存储池节点的状态为“Peer Rejected (Connected)”。


7）重启损坏节点（gf2）的GlusterFS服务


在两个节点分别观察存储池节点的状态，应该可以发现损坏的节点，已经正常连接到存储池中。


（8）触发该节点进行数据同步


在客户端的挂载点使用ls命令遍历集群目录，该节点就启动文件自愈功能，从老的备份节点将数据同步过来。
10.248.51.156:
[root@zstack_mngt /backupStorage>]
$ ls
004110416a69495bab9c6ab77256105c.qcow2  bs_sftp_info.json  bs_sftp_info.json.bak  dataVolumeTemplates  rootVolumeTemplates  windows7-32+64.iso  zstack-enterprise-installer.bin
注意：当数据较大时，整个同步过程较为耗时。


（9）测试损坏节点是否可写文件


在客户端的挂载目录，新建多个文件，观察新建的文件能否写在该节点上。


测试如下：通过touch命令，新建数个文件。


在原来损坏的节点的brcik目录下观察能否写入文