OpenShift Master1彻底挂了，如何恢复？

集群恢复

小强维护着一套生成的OpenShift集群，突然有一天集群的master1节点出现异常，自动关机了。他尝试了多次，都无法开机，怎么办？
他需要赶快恢复master1节点，来满足集群的高可用性。

原来的masters在ansible/hosts中的顺序如下

[masters]
master1  ## 重要主节点，安装完后单独保存/etc/etcd/ca中的证书
master2
master3

[etcd]
master1
master2
master3

[nodes]
master1
master2
master3

恢复过程如下：

新建一台 master1节点，hostname 与 IP 都和原 master1 节点一致
在master2上恢复master主节点的证书、ca.serial.txt及openshift软件。
通过新增 master 的方式将这个节点重新加回集群
通过新增 etcd 的方法，恢复了这台 master 节点 etcd 的状况

以下是恢复的具体步骤。

一、初始化Master节点

与部署机互信
开启selinux
关闭firewalld
DNS配置或者/etc/hosts
HostName设置
NTP
ETCD盘与docker盘，如果需要提前准备的话
Yum源设置

二、删除问题Master节点

oc delete node master1

三、在master2节点上准备好相关证书及软件

恢复master主节点的证书
在/etc/ansible/hosts的[masters]/[etcd]/[nodes]组中注释掉master1节点，后执行

$ ansible-playbook playbooks/openshift-etcd/redeploy-ca.yml

恢复ca.serial.txt文件
在备份的配置中将ca.serial.txt文件拷贝到/etc/origin/master/ca.serial.txt

$ scp ca.serial.txt master2:/etc/origin/master/ca.serial.txt

安装openshift命令

$ yum install openshift

如果显示找不到该包，请查看/etc/yum.conf的配置，将openshift包从exclude中删除

四、恢复Master节点

/etc/ansible/hosts中将需要恢复的节点从[masters]/[etcd]/[nodes]组移到[new_masters]、[new_nodes]组，并将三个组添加到[OSEv3:children]

[OSEv3:children]
masters
etcd
nodes
new_masters
new_etcd
new_nodes

[masters]
master2
master3

[etcd]
master2
master3

[nodes]
master2
master3

[new_masters]
master1

[new_etcd]
master1

[new_nodes]
master1

执行master节点的scale_up.yaml

ansible-playbook playbooks/openshift-master/scaleup.yaml

检查master1的恢复状态

$ oc get node 
$ oc get pod -n kube-system

将master1节点从[new_masters]/[new_nodes]中移到[masters]/[nodes]中，并将它放到各个组的最后面。

[OSEv3:children]
masters
etcd
nodes
new_etcd

[masters]
master2
master3
master1

[etcd]
master2
master3

[nodes]
master2
master3
master1

[new_etcd]
master1

五、恢复ETCD服务

在正常的master节点，如master2上移除有问题的etcd节点

$ etcdctl2 member list
23868989e8af989: name=master1 isLeader=false
45f23429e8af943: name=master2 isLeader=false
5323823fadaf989: name=master3 isLeader=true
$ etcdctl2 member remove 23868989e8af989

执行etcd的扩容操作etcd scaleup.yaml

ansible-playbook playbooks/openshift-etcd/scaleup.yaml

待执行完成后，检查etcd pod状态

$ oc get pod -n kube-system
$ etcdctl2 cluster-health

将master1节点从[new_etcd]组移到[etcd]组的最后面。

[OSEv3:children]
masters
etcd
nodes
[masters]
master2
master3

[etcd]
master2
master3

[nodes]
master2
master3

恢复master1节点的etcdctl命令
将/etc/profile.d/etcdctl.sh文件拷贝到master1节点的/etc/profile.d/etcdctl.sh，并执行source /etc/profile.d/etcdctl.sh

总结

多Master节点的集群具有高可用性，任一节点出现问题都不会影响到集群的服务，但是我们必须尽快恢复它，以免再出现一台主节点出现异常，这将会导致集群故障。
多台Master节点中，第一台Master节点是特殊的节点，有些证书、配置文件只放在这台节点上，但是扩容时会需要用到。（详情可看openshift-ansible中的代码，很多证书都是从openshift_ca_host主机复制，而openshift_ca_host={{ groups.oo_first_master.0 }}）。
在完成恢复后，需要及时恢复ansible/hosts中的内容，将恢复的节点加到对应组的后面，方便下次主机的扩容与维护。