linux集群高可用

什么是高可用集群

       高可用集群（High Availability Cluster，简称HA Cluster），是指以减少服务中断时间为目的的服务器集群技术。它通过保护用户的业务程序对外不间断提供的服务，把因为软件、硬件、人为造成的故障对业务的影响降低到最小程度。总而言之就是保证公司业务7x24小时不宕机

 集群中必须满足一下基本要求

1：集群中的节点必须时间同步

2：能够通过/etc/hosts进行主机名解析

3：基于ssh免密码通信

文件配置/etc/hosts 

192 .168.43.9   node0

192 .168.43.10 node1

192 .168.43.11 node2

 

ssh-keygen -t rsa -P ""          生成密钥对

cd .ssh                                   进入文件

mv id_rsa .pub authorized_keys     对公钥改名                        ssh-copy-id  -i  ）

rm -f known_hosts                          删除

cd ../

scp -rp .ssh/ node1:/root/                传给其他的节点

scp -rp .ssh/ node2:/root/

 

 

 

时间同步

 

 

1：在node0上安装配置chrony服务，同步国内互联网时间服务器的时间

yum install -y chrony

 

2：编辑配置文件/etc/chrony.conf

修改默认的centos时间同步服务器地址为国内时间同步服务器地址，且允许 192.168.43.0/24网段的主机同步时间

server    node1    iburst

server     node2   iburst

server     node3   iburst

server      node4  iburst

allow 172.16.19.0/24

 

3：启动chrony

systemctl enable chronyd.service

systemctl start chronyd.service

 

4：在node1和node2上分别安装chrony，且修改配置文件/etc/chrony.conf，将时间同步指向node0节点

yum install -y chrony

server node0 iburst（配置文件里面修改）

systemctl enable chronyd.service

systemctl start chronyd.service

 

 

5：node1，node2验证时间同步

[root@node1 ~]# chronyc sources

210 Number of sources = 1

MS Name/IP address Stratum Poll Reach LastRx Last sample

===============================================================================

^* node0

 

 

高可用集群的配置

 

安装pacemaker( corosync将会被作为依赖安装)

yum install -y pacemaker

 

node1上面操作

 

cd /etc/corosync/

cp corosync.conf.example corosync.conf

 

 

vim /etc/corosync/corosync.conf

 

totem {

version: 2 # 指定版本号

cluster_name: uplookingcluster # 指定集群名称

crypto_cipher: aes256 # 指定对称加密算法

crypto_hash: sha1 # 指定单向加密算法

interface {

ringnumber: 0 # 指定心跳信息传递的环路id

bindnetaddr: 192.168.43.0 # 指定环路中的网络地址

mcastaddr: 239.255.1.1 # 指定心跳信息通过多播的方式传递的IP通道

mcastport: 5405 # 指定多播的端口

ttl: 1 # 指定多播报文信息的生命周期

}

}

 

logging {

fileline: off

to_stderr: no

to_logfile: yes # 指定开启日志文件

logfile: /var/log/cluster/corosync.log # 指定日志文件保存的位置

to_syslog: no # 指定不使用系统日志保存日志信息

debug: off

timestamp: on

logger_subsys { # 指定启用仲裁机制

subsys: QUORUM

debug: off

}

}

 

quorum { # 指定仲裁机制是corosync投票系统

provider: corosync_votequorum

}

 

nodelist { # 指定节点列表

node {

ring0_addr: 192.168.43.10

nodeid: 1

}

node {

ring0_addr: 192.168.43.11

nodeid: 2

}

}

 

注意：   要求删除中文，改掉心跳信息通过多播的方式传递的IP通道

 

 

corosync-keygen（由于在message layer  层传递心跳信息需要加密，因此先必须生成加密文件）

开另一个窗口安装卸载东西，要不能时间好长

 

  要求cuthkey的权限是400才能够启动

scp authkey corosync.conf node2:/etc/corosync/   复制 到另一个节点   

 

systemctl enable corosync.service  开机自启

systemctl start corosync.service

两个节点都要启动

 

 

systemctl enable pacemaker.service

systemctl start pacemaker.service

 

yum install -y   crmsh-3.0.0-6.2.noarch.rpm   

crmsh-scripts-3.0.0-6.2.noarch.rpm

python-parallax-1.0.1-6.2.noarch.rpm

安装三个包 可能是下面的没有用吧  

 

wget -O /etc/yum.repos.d/crmsh.repo http://download.opensuse.org/repositories/network:/ha-clustering:/Stable/CentOS_CentOS-7/network:ha-clustering:Stable.repo

 

yum repolist

yum install -y crmsh

 

 

高可用集群  

 

crm(live) # help

Help overview for crmsh（各种一级命令还有二级命令） 

分析所需的资源：

1：vip

2：httpd

3：NFS（因为不同的httpd节点需要有相同的静态页面）

4：mysql

5;php php-mysql(驱动)

 

 由于无法模拟生成环境中的stonith设备，因此需要先禁用stonith设备，且配置完毕之后必须要提交（温馨提示：使用vsphpere也可以虚拟出stonish设备）

[ root@node1 ~]# crm

crm( live)# configure property stonith-enabled=false

crm( live)# commit

cd 

status

 

 

1：配置vip资源

 

 

在configure二级命令接口处配置vip资源

 

# 定义vip主资源，vip为资源的名称，ocf为资源类型，IPaddr为ocf资源类型下的IPaddr资源，ip、nic、cidr_netmask为IPaddr资源的参数。如果需要查看某个资源的定义，可以使用命令 ra info IPaddr 查看

primitive vip ocf:IPaddr params ip=192.168.43.100 nic=enp0s3 cidr_netmask=24

 

# 查看配置信息

show

 

# 提交配置，让配置生效，

commit

 

cd 

status(查看在哪个节点，然后在那台虚拟机上面ip addr  看到效果)

 

 

# 如果让node1节点成为备用节点，那么vip将会漂移到其他节点上

[root@node1 ~] # crm node standy  node1

# 重新让node1上线，在node1节点上，发现vip并没有重新漂移至node1节点，因为，vip资源没有设置倾向性

[root@node1 ~] # crm  （一级）node（二级） online  node1

 

# 将 vip资源迁移到node1上 ，再使用ip addr 发现vip 资源已经在node1上了

[root@node1 ~] # crm resource move vip node1

INFO: Move constraint created for vip to node1

 2：配置httpd资源

 

1：在configure二级命令接口处配置httpd资源，在配置之前需要在各个节点安装上httpd，且开机自启，且为了测试，给node1节点和node2节点使用两个不同的测试首页

yum install -y httpd

systemctl enable httpd.service

 

2：在node1 和 node2 分别查看，是否有systemd类型的httpd资源，如果有说明可以使用httpd资源代理

[root@node1 ~] # crm ra list systemd | grep httpd

httpd hypervkvpd hypervvssd ip6tables iptables

 

3：可以查看一下httpd资源代理的使用帮助

crm ra info systemd:httpd

 

4：定义主资源httpd

[root@node2 ~] # crm configure primitive httpd systemd:httpd

[root@node2 ~] # crm configure commit

 

5：查看资源配置情况

crm verify

 

6：查看下资源分布情况，发现vip运行在node1上, 而httpd运行在node2上，因此需要手动迁移资源的分布

[root@node2 ~] # crm status

 

crm(live)resource # move httpd node1

 

7：再次查看一下，资源的分布情况，此时vip、httpd资源都运行在node1之上了，使用浏览器可以访问到httpd提供的服务

[root@node2 ~] # crm verify

 

8：为了避免手动迁移资源，因此可以将必须运行在一起的primitive资源绑定到一个group资源里面

crm(live) # configure group webservice vip httpd

INFO: modified location:cli-prefer-vip from vip to webservice

INFO: modified location:cli-prefer-httpd from httpd to webservice

 

9：查看集群配置的cib文件

crm(live) # configure show

 

10：让node1成为备用节点，此时资源已经全部迁移到node2节点

crm(live) # node standy

 

11：再让node1节点上线，迁移group资源到node1节点

crm(live)resource # move webservice node1

 

12：可以直接编辑cib文件，配置集群资源信息

crm configure edit

 

3.配置NFS资源（ 重新启动一个虚拟机，节点主机名为nfs  在NFS节点上面配置）

 

1：在NFS节点安装nfs-utils

yum install -y nfs-utils

 

2：创建共享目录

mkdir /data/

 

3：编辑配置文件/etc/exports（这里使用了选择no_root_squash不压缩root权限，但是NFS一定不要添加这个选项，如果客户端要实现读写访问，必须给/data目录设置文件系统级别的访问权限）

/data 192.168.0.0/16(rw, no_root_squash)

（

o_root_squash：登入 NFS 主机使用分享目录的使用者，如果是 root 的话，那么对于这个分享的目录来说，他就具有 root 的权限！这个项目『极不安全』，不建议使用！

root_squash：在登入 NFS 主机使用分享之目录的使用者如果是 root 时，那么这个使用者的权限将被压缩成为匿名使用者，通常他的 UID 与 GID 都会变成 nobody 那个系统账号的身份；

）

 

4：启动nfs

systemctl start nfs.service

exportfs -r

 

5.在node2节点上面

查看NFS节点的挂载情况

showmount -e 192.168.43.13

mount  -t nfs node1:/gongll   /var/www/html/

vi index.html

 

6.

直接在node1的crm接口中配置NFS资源

crm(live)configure # primitive nfs ocf:Filesystem parameters device="192.168.43.13:/data" directory="/var/www/html" fstype=nfs

 7.

检查且提交

crm(live)configure # verify

crm(live)configure # commit

8.

：查看集群中的资源分布

crm(live) # status

 

4.配置资源集群监控

 

# 如果此时的高可用集群的环境是 vip nfs httpd 都运行在node1，如果在node1停止httpd

[root @node1 ~]# systemctl stop httpd

 

# 再使用netstat -lntup查看的时候，httpd是不会自动启动的，因此在定义资源的同时需要定义监控，先停止httpd资源

crm(live) # resource stop httpd

 

# 编辑cib文件，删除所有的关于httpd资源的信息，因为httpd资源需要重新定义

crm(live) # cofigure edit

 

# 重新定义httpd资源，超时时长建议为100s

crm(live)configure # primitive httpd systemd:httpd op start timeout=100s op stop timeout=100s op monitor interval=15s timeout=100s

 

# 校验

crm(live)configure # verify

 

# 在编辑cib文件

crm(live)configure # edit

 

# 将新创建的资源添加至webservice资源组中，修改cib文件即可

 

# 提交

crm(live)configure # commit

 

# 查看资源在节点的发布情况，发现httpd资源运行在node1节点上

[root @node2 ~]# crm status

 

# 在node1上停止httpd资源，看看是否httpd资源会自动重启，查看发现确实自动重启

systemctl stop httpd

 

 

5 配置mysql的资源

 

yum install -y   php php-mysql   mariadb*

 

 

vi /etc/hosts   两个节点都要安装启动配置

skip_name_resolve=on
innodb_file_per_table=on

mysql

create database wp;      

grant all on wp.* to wp@'%'  identified by '123456';     

flush privileges;       刷新权限

crm(live)configure# 

primitive mysql systemd:mariadb op start timeout=100s op stop timeout=100s

verify

commit

 

配置组使他们在一个节点上面 

crm(live)configure # group webservice vip nfs httpd

crm(live)configure # location webservice_node1 webservice 100: node1

 

configure    edit  （新的服务可以在里面加入到组里面去）

 

 

 vi  index.php

$link=mysql_connect("172.16.19.239","wp","123456");

if(!$link)

echo "FAILD!连接错误，用户名密码不对";

else
echo "OK!可以连接";
?>

 

 网站上面进行连接 

 

 三个节点   （ ）

在环境部署完之后，我们要搭建lanp在什么上实现高可用，共有node1、node2、node3
三个节点。还有一个node0，搭载时间同步服务器和nfs服务器。

此时在node1上
-----------创建虚拟vip1 2 3
crm(live)configure# primitive vip1 ocf:IPaddr params ip=172.16.19.175 nic=enp0s3 cidr_netmask=24
crm(live)configure# commit
crm(live)configure# primitive vip2 ocf:IPaddr params ip=172.16.19.176 nic=enp0s3 cidr_netmask=24
crm(live)configure# commit
crm(live)configure# primitive vip3 ocf:IPaddr params ip=172.16.19.177 nic=enp0s3 cidr_netmask=24
crm(live)configure# commit

---------查看下
crm(live)# status
Stack: corosync
Current DC: node3 (version 1.1.16-12.el7_4.4-94ff4df) - partition with quorum
Last updated: Thu Oct 26 13:17:34 2017
Last change: Thu Oct 26 13:13:28 2017 by root via cibadmin on node1

3 nodes configured
3 resources configured

Online: [ node1 node2 node3 ]

Full list of resources:

vip1 (ocf::heartbeat:IPaddr): Started node1
vip2 (ocf::heartbeat:IPaddr): Started node2
vip3 (ocf::heartbeat:IPaddr): Started node3

------------新建httpd资源
crm(live)configure# primitive httpd systemd:httpd op start timeout=100s op stop timeout=100s op monitor interval=15s timeout=100s
crm(live)configure# commit

-------------新建mysql资源
crm(live)configure# primitive mysql systemd:mariadb op start timeout=100s op stop timeout=100s op monitor interval=15s timeout=100s
crm(live)configure# commit
------------在node0上的nfs服务器上。
[root@node0 ~]# mkdir /httpd
[root@node0 ~]# mkdir /mysql
[root@node0 ~]# mkdri /php

[root@node0 ~]# vim /etc/exports
/httpd 172.16.19.0/24(rw,no_root_squash)
/mysql 172.16.19.0/24(rw,no_root_squash)
/php 172.16.19.0/24(rw,no_root_squash)

------------在node2上查看一下
[root@node2 ~]# showmount -e node0
Export list for node0:
/php 172.16.19.0/24
/mysql 172.16.19.0/24
/httpd 172.16.19.0/24
-----------在node1上，nfs1
crm(live)configure# primitive nfs1 ocf:Filesystem parameters device="172.16.19.171:/httpd" directory="/var/www/html" fstype=nfs
crm(live)configure# commit
WARNING: nfs1: default timeout 20s for start is smaller than the advised 60
WARNING: nfs1: default timeout 20s for stop is smaller than the advised 60
记得加上各种超时时长不然会有警告

-------nfs2
crm(live)configure# primitive nfs2 ocf:Filesystem parameters device="172.16.19.171:/php" directory="/var/www/html" fstype=nfs
crm(live)configure# commit
WARNING: nfs2: default timeout 20s for start is smaller than the advised 60
WARNING: nfs2: default timeout 20s for stop is smaller than the advised 60

--------设置php-fpm资源
crm(live)configure# primitive php systemd:php-fpm op start timeout=100s op stop timeout=100s op monitor interval=15s timeout=100s
crm(live)configure# commit
-------------查看下
crm(live)# status
Stack: corosync
Current DC: node3 (version 1.1.16-12.el7_4.4-94ff4df) - partition with quorum
Last updated: Thu Oct 26 14:23:43 2017
Last change: Thu Oct 26 14:23:10 2017 by root via cibadmin on node1

3 nodes configured
8 resources configured

Online: [ node1 node2 node3 ]

Full list of resources:

vip1 (ocf::heartbeat:IPaddr): Started node1
vip2 (ocf::heartbeat:IPaddr): Started node2
vip3 (ocf::heartbeat:IPaddr): Started node3
httpd (systemd:httpd): Started node1
mysql (systemd:mariadb): Started node2
nfs1 (ocf::heartbeat:Filesystem): Started node3
nfs2 (ocf::heartbeat:Filesystem): Started node3
php (systemd:php-fpm): Started node1
----此时所有的资源弄好了，要开始建组资源，在node1上
crm(live)configure# group httpd-vip1-nfs vip1 httpd nfs1
crm(live)configure# group php-vip2-nfs2 vip2 php nfs2
crm(live)configure# group mysql-vip3 vip3 mysql
crm(live)configure# commit
----查看下
crm(live)# status
Stack: corosync
Current DC: node3 (version 1.1.16-12.el7_4.4-94ff4df) - partition with quorum
Last updated: Thu Oct 26 14:33:49 2017
Last change: Thu Oct 26 14:33:16 2017 by root via cibadmin on node1

3 nodes configured
8 resources configured

Online: [ node1 node2 node3 ]

Full list of resources:

Resource Group: httpd-vip1-nfs
vip1 (ocf::heartbeat:IPaddr): Started node1
httpd (systemd:httpd): Started node1
nfs1 (ocf::heartbeat:Filesystem): Started node1
Resource Group: php-vip2-nfs2
vip2 (ocf::heartbeat:IPaddr): Started node2
php (systemd:php-fpm): Started node2
nfs2 (ocf::heartbeat:Filesystem): Started node2
Resource Group: mysql-vip3
vip3 (ocf::heartbeat:IPaddr): Started node3
mysql (systemd:mariadb): Started node3
----此时分好组了，而且自动帮我们分好了。如果没分好，你需要自己将其均衡。

------现在要约束一波组资源，让其更加均衡，约束更倾向node1的httpd、vip1、nfs1、
crm(live)configure# location httpd-vip1-nfs_node1 httpd-vip1-nfs inf: node1 ------这里是设置在node1上倾向性是无穷大，
crm(live)configure# location httpd-vip1-nfs_node2 httpd-vip1-nfs 500: node2 ------这里是在node2上为500
crm(live)configure# location httpd-vip1-nfs_node3 httpd-vip1-nfs -100:node3 ------这里是在node3上为-100，这样就是说这个组资源会在node1和node2上跳，基本不会在node3上出现。
crm(live)configure# commit
------约束更倾向node2的php、vip2、nfs2
crm(live)configure# location php-vip2-nfs2_node2 php-vip2-nfs2 inf: node2
crm(live)configure# location php-vip2-nfs2_node3 php-vip2-nfs2 500: node3
crm(live)configure# location php-vip2-nfs2_node1 php-vip2-nfs2 -100: node1
crm(live)configure# commit
这个是约束组资源php-vip2-nfs2的更倾向于node2节点
------约束更倾向node3的mysql-vip3
crm(live)configure# location mysql-vip3_node3 mysql-vip3 inf: node3
crm(live)configure# location mysql-vip3_node1 mysql-vip3 500: node1
crm(live)configure# location mysql-vip3_node2 mysql-vip3 -100: node2
crm(live)configure# commit

 

关于动静分离的在

 

然后在node0上将wordpress源码传上去
在node0上
----------
在/php目录下将wordpress源码传上去，并相应修改，改名删无用目录
然后在/php目录下删除静态文件
rm -f ./*.jpg
rm -f ./*.gif
rm -f ./*.jpeg
rm -f ./*.js
rm -f ./*.html
rm -f ./*.txt
rm -f ./*.htm
rm -f ./*.ico

在/httpd目录下将wordpress源码传上去，并相应修改，改名删无用目录
然后在/httpd目录下删除动态文件
rm -f ./*.php

-----------最后
在浏览器上访问vip1 172.16.19.175

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

转载于:https://www.cnblogs.com/gongll/p/7732305.html