Corosync 和pacemaker实现高可用性群集

Corosync 和pacemaker实现高可用性群集

简介：

Corosync是实现高可用性群集的一款软件，它的前身是openais ，openais是一个研究高可用性群集的项目，后来项目停止。Corosync能够满足高可用性群集架构的第一 第二 第四层，第一层是message layer心跳探测，corosync 的心跳检测端口是与用户相连的接口，没有心跳线，第二层是 成员管理ccm,用来实现验证，第四层是resource agent 资源代理。

Pacemaker 是用于高可用性群集架构的第三层，资源管理的一款软件，它提供一个工具crm提供命令行界面。

实验拓扑图：

1：用ssh 实现高可用性群集节点之间的无障碍通信:

[root@node1 ~]# ssh-keygen -t rsa #在管理员家目录下创建管理员的公钥私钥对

Generating public/private rsa key pair.

Enter file in which to save the key (/root/.ssh/id_rsa): #要实现节点之间的无障碍通信不需要输入密码

Created directory '/root/.ssh'. # 在管理员的家目录下将产生.ssh的隐藏文件用于存放私钥公钥

Enter passphrase (empty for no passphrase):

Enter same passphrase again:

Your identification has been saved in /root/.ssh/id_rsa.

Your public key has been saved in /root/.ssh/id_rsa.pub.

ssh-copy-id -i id_rsa.pub node2 #把公钥拷给节点2 第一次拷贝需要密码，以后节点之间再拷贝东西不需要输入密码，这样就做到了节点之间的无障碍通信。在节点2上要做相同的步骤。

在两个节点上修改yum的配置文件 ，执行yum localinstall *.rpm --nogpgcheck本地安装。

2：在两个节点上执行hwclock -s 保持 时钟同步

3：在节点一：

进入到corosync服务的配置文件里

cp corosync.conf.example corosync.conf

mkdir /var/log/cluster

[root@node1 corosync]# corosync-keygen

Corosync Cluster Engine Authentication key generator.

Gathering 1024 bits for key from /dev/random.

Press keys on your keyboard to generate entropy.

Writing corosync key to

/etc/corosync/authkey.

4：在节点二，要进行相同的操作，保持corosync配置文件和验证文件保持一致。

5：在节点上启动corosync

service corosync start

6：验证corosync 的引擎是否正常启动

Grep -i -e “corosync cluster engine” -e “configuration file” /var/log/messages

[root@node2 corosync]# grep -i -e "corosync cluster engine" -e "configuration file " /var/log/messages

Oct 3 01:40:52 localhost smartd[3943]: Opened configuration file /etc/smartd.conf

Oct 3 01:40:52 localhost smartd[3943]: Configuration file /etc/smartd.conf was parsed, found DEVICESCAN, scanning devices

Oct 3 07:01:13 localhost smartd[3913]: Opened configuration file /etc/smartd.conf

Oct 3 07:01:13 localhost smartd[3913]: Configuration file /etc/smartd.conf was parsed, found DEVICESCAN, scanning devices

Oct 9 18:42:07 localhost corosync[16061]: [MAIN ] Corosync Cluster Engine ('1.2.7'): started and ready to provide service.#corosync 引擎启动准备提供服务

Oct 9 18:42:07 localhost corosync[16061]: [MAIN ] Successfully read main configuration file '/etc/corosync/corosync.conf'.

7：查看初始化节点是否发出心跳通知

Grep -i totem /var/log/messages

[root@node2 corosync]# grep -i totem /var/log/messages

Oct 9 18:42:07 localhost corosync[16061]: [TOTEM ] Initializing transport (UDP/IP).

Oct 9 18:42:07 localhost corosync[16061]: [TOTEM ] Initializing transmit/receive security: libtomcrypt SOBER128/SA1HMAC (mode 0).

Oct 9 18:42:07 localhost corosync[16061]: [TOTEM ] The network interface [192.168.20.40] is now up. #监听端口已经起来

Oct 9 18:42:08 localhost corosync[16061]: [TOTEM ] A processor joined or left the membership and a new membershipwas formed.

8：检测混合日志中是否有错误：

因为我们没有使用stonish设备，所以没有stonish资源，stonish 设备有电源交换机，如果有一个节点失效，电源交换机将自动断开这个节点。

[root@node1 corosync]# grep -i error /var/log/messages

Oct 7 23:46:15 localhost : error getting update info: Cannot retrieve repository metadata (repomd.xml) for repository: rhel-server. Please verify its path and try again

Oct 8 00:46:46 localhost : error getting update info: Cannot retrieve repository metadata (repomd.xml) for repository: rhel-server. Please verify its path and try again

Oct 9 18:41:42 localhost pengine: [11598]: ERROR: unpack_resources: Resource start-up disabled since no STONITH resources have been defined

Oct 9 18:41:42 localhost pengine: [11598]: ERROR: unpack_resources: Either configure some or disable STONITH with the stonith-enabled option

9：查看pacemaker 的成员管理器是否启动

[root@node1 corosync]# grep -i pcmk_startup /var/log/messages

Oct 9 18:40:39 localhost corosync[11588]: [pcmk ] info: pcmk_startup: CRM: Initialized

Oct 9 18:40:39 localhost corosync[11588]: [pcmk ] Logging: Initialized pcmk_startup

Oct 9 18:40:39 localhost corosync[11588]: [pcmk ] info: pcmk_startup: Maximum core file size is: 4294967295

Oct 9 18:40:39 localhost corosync[11588]: [pcmk ] info: pcmk_startup: Service: 9

Oct 9 18:40:39 localhost corosync[11588]: [pcmk ] info: pcmk_startup: Local hostname: node1.a.com:

10：执行crm 进入资源管理器

在任何一个节点上 用资源管理器查看集群的成员状态

Configure 进入到资源管理的配置模式 show查看corosync的配置信息

Ra 进入到资源管理的资源代理模式

crm(live)ra# help

This level contains commands which show various information about

the installed resource agents. It is available both at the top

level and at the `configure` level.

Available commands:

classes list classes and providers #列出代理类型

list list RA for a class (and provider) # 列出 代理所控制的资源

meta show meta data for a RA #显示 资源代理的使用方法

providers show providers for a RA and a class

quit exit the program

help show help

end go back one level

crm(live)ra# list heartbeat

AudibleAlarm Delay Filesystem ICP IPaddr IPaddr2 IPsrcaddr IPv6addr LVM

LinuxSCSI MailTo OCF Raid1 SendArp ServeRAID WAS WinPopup Xinetd

apache db2 hto-mapfuncs ids portblock

资源的类型：

primitive 定义的本地独立的资源比如ip地址，只能应用到同一节点上

Group 是对资源的约束，把资源加入到一个组内，资源应用到同一节点上。

因为没有stonith设备所以设置为false,才可以提交配置

property stonith-enabled=false

11：定义本地资源 资源名称 webip

primitive webip ocf:heartbeat:IPaddr params ip=192.168.20.100

在节点一上查看映射的资源，映射成功

12：定义本地资源httpd服务

primitive webserver lsb:httpd

查看资源发现资源出现分裂，httpd服务在节点二上运行

13：为了避免资源分裂，要把ip地址 和服务加入到一个组内

group webgroup webip webserver

查看资源管理状态

在节点一上查看ip地址和httpd服务

:14：高可用性群集的前半部分已经做好，测试web页面