搭建Keepalived+Nginx负载均衡及实验
搭建Keepalived+Nginx负载均衡及实验
什么是keepAlived
keepalived是一个类似于layer3, 4 & 5交换机制的软件，也就是我们平时说的第3层、第4层和第5层交换。Keepalived是自动完成，不需人工干涉。
简介
Keepalived的作用是检测服务器的状态，如果有一台web服务器宕机，或工作出现故障，Keepalived将检测到，并将有故障的服务器从系统中剔除，同时使用其他服务器代替该服务器的工作，当服务器工作正常后Keepalived自动将服务器加入到服务器群中，这些工作全部自动完成，不需要人工干涉，需要人工做的只是修复故障的服务器。
工作原理
Layer3,4,5工作在IP/TCP协议栈的IP层，TCP层，及应用层,原理分别如下： Layer3：Keepalived使用Layer3的方式工作式时，Keepalived会定期向服务器群中的服务器发送一个ICMP的数据包（既我们平时用的Ping程序）,如果发现某台服务的IP地址没有激活，Keepalived便报告这台服务器失效，并将它从服务器群中剔除，这种情况的典型例子是某台服务器被非法关机。Layer3的方式是以服务器的IP地址是否有效作为服务器工作正常与否的标准。 Layer4:如果您理解了Layer3的方式，Layer4就容易了。Layer4主要以TCP端口的状态来决定服务器工作正常与否。如web server的服务端口一般是80，如果Keepalived检测到80端口没有启动，则Keepalived将把这台服务器从服务器群中剔除。 Layer5：Layer5对指定的URL执行HTTP GET。然后使用MD5算法对HTTP GET结果进行求和。如果这个总数与预期值不符，那么测试是错误的，服务器将从服务器池中移除。该模块对同一服务实施多URL获取检查。如果您使用承载多个应用程序服务器的服务器，则此功能很有用。此功能使您能够检查应用程序服务器是否正常工作。MD5摘要是使用genhash实用程序（包含在keepalived软件包中）生成的。 SSL_GET与HTTP_GET相同，但使用SSL连接到远程Web服务器。 MISC_CHECK：此检查允许用户定义的脚本作为运行状况检查程序运行。结果必须是0或1.该脚本在导演盒上运行，这是测试内部应用程序的理想方式。可以使用完整路径（即/path_to_script/script.sh）调用可以不带参数运行的脚本。那些需要参数的需要用双引号括起来（即“/path_to_script/script.sh arg 1 … arg n”）
作用
主要用作RealServer的健康状态检查以及LoadBalance主机和BackUP主机之间failover的实现。 高可用web架构: LVS+keepalived+nginx+apache+php+eaccelerator（+nfs可选 可不选）
为什么要使用
当我们的服务器意外挂了之后，我们要怎么做？ 当然是找一台新的机器，替代现有的机器，然后做新的环境部署，端口映射，域名解析等等一系列的工作，再将服务重新启动；但是如果这一系列的操作都是手动完成的，那么等你把这些工作搞好，可能服务已经停止个把小时了，这会儿估计运营早就提着菜刀架在你脖子上了； 但是如果使用了KeepAlived之后，然后提前将备用机准备好，当主的机器挂掉之后，自动将VIP给你切换到备用机，并且以邮件的形式告诉你说主服务已经挂了，你得赶紧恢复起来；这时候你就可以慢慢的去找主服务的问题，这时候并不会影响到你的正常业务运行。
IP规划：
42.51.78.140------虚拟VIP
42.51.78.141------Nginx-1
42.51.78.142------Nginx-2
42.51.78.143------Keepalived-1
42.51.78.144------Keepalived-2
设置主机名：
42.51.78.141------hostnamectl set-hostname web01
42.51.78.142------hostnamectl set-hostname web02
42.51.78.143------hostnamectl set-hostname lb01
42.51.78.144------hostnamectl set-hostname lb02
设置个性主机名颜色：
echo "PS1='\[\e[37;1m\][\[\e[36;40m\]\[\e[32;40m\]\u\[\e[33;40m\]@\[\e[31;40m\]\h \[\e[34;40m\]\w\[\e[37;1m\]]\\$\[\e[m\]'" >>.bashrc
在各节点执行—修改DNS
cat <<EOF> /etc/resolv.conf
nameserver 114.114.114.114
nameserver 8.8.8.8
EOF
在各节点执行—添加阿里yum源和清理yum缓存和生成新的yum缓存
wget -O /etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-7.repo && yum clean all && yum makecache fast
在各节点执行—关闭selinux
sed -i 's/enforcing/disabled/' /etc/selinux/config && setenforce 0
在各节点执行—关闭防火墙
systemctl stop firewalld && systemctl disable firewalld
在各节点都采用网络时间服务器 安装时间服务器软件
yum install -y chrony
修改配置文件/etc/chrony.conf
sed -i -e '/^server/d' -e '1aserver ntp.aliyun.com iburst\nserver tw.pool.ntp.org iburst' -e '/local stratum 10/clocal stratum 10\nbindcmdaddress 127.0.0.1\nbindcmdaddress ::1' /etc/chrony.conf
chronyd服务启动并自启
systemctl start chronyd && systemctl enable chronyd
检查323 udp端口的监听是否是:323*
ss -ntlup | grep 323
检查时间同步状态
chronyc sources
在42.51.78.141，42.51.78.142，42.51.78.143，42.51.78.144
机器上安装Nginx
yum install nginx -y
设置开机自启并启动
systemctl enable nginx --now
在42.51.78.141，42.51.78.142机器上修改index.html，方便访问nginx测试 在42.51.78.141机器上
echo This is Server 42.51.78.141 >/usr/share/nginx/html/index.html
在42.51.78.142机器上
echo This is Server 42.51.78.142 >/usr/share/nginx/html/index.html
官方格式：
upstream backend {
server backend1.example.com weight=5;
server backend2.example.com:8080;
server unix:/tmp/backend3;
server backup1.example.com:8080 backup;
server backup2.example.com:8080 backup;
}
server {
location / {
proxy_pass http://backend;
}
}
参数说明：
backend这个是一个名称，可以更改
server后边写IP默认是80端口，为了规范我们写上80端口
weight是权重，权重越大得到的请求比例就越多
下面为可用参数：
max_fails=5; 尝试连接后端主机失败的次数，最多尝试连接后端主机5次。
fail_timeout=10; 失败的超时时间，比如设置为10秒，那么就是每10秒去尝试连接一次。
max_conns=10; 限制最大连接数
在lb01和lb02机器上复制粘贴如下改好的nginx配置文件—< 负载均衡 >
vim /etc/nginx/nginx.conf
worker_processes 1;
events {
worker_connections 1024;
}
http {
include mime.types;
default_type application/octet-stream;
sendfile on;
keepalive_timeout 65;
upstream web_pools {
server 42.51.78.141:80 weight=5;
server 42.51.78.142:80 weight=5;
#server 42.51.78.142:80 weight=5 backup; #这个为主备，不是负载均衡
}
server {
listen 80; #这是我们的web端口
server_name gky.myit.icu; #这是我们的域名
location / {
root html;
index index.html index.htm;
proxy_pass http://web_pools;
}
}
}
重启nginx服务：
systemctl restart nginx
在lb01机器上进行访问—nginx负载均衡已经轮询
[root@lb01 ~]#curl 42.51.78.143
This is Server 42.51.78.141
[root@lb01 ~]#curl 42.51.78.143
This is Server 42.51.78.142
以下功能测试—要修改lb01和lb02机器上的配置文件才可用于生产环境
一：如果两台Nginx主机硬件配置不一样，可以进行设置权重来进行均衡请求
我们这里测试把server 42.51.78.141:80 weight=5;的weight值改为1
重启nginx服务
systemctl restart nginx
在lb01机器上进行访问—nginx负载均衡已经有了效果
测试结论：
一个权重为5，一个权重为1，这样请求5次权重为5的机器，会请求一次权重为1的机器
[root@lb01 ~]#curl 42.51.78.143
This is Server 42.51.78.142
[root@lb01 ~]#curl 42.51.78.143
This is Server 42.51.78.142
[root@lb01 ~]#curl 42.51.78.143
This is Server 42.51.78.142
[root@lb01 ~]#curl 42.51.78.143
This is Server 42.51.78.142
[root@lb01 ~]#curl 42.51.78.143
This is Server 42.51.78.142
[root@lb01 ~]#curl 42.51.78.143
This is Server 42.51.78.141
二：其他场景可使用ip_hash算法 说明： 当使用ip_hash算法时，不能使用backup功能，权重功能也会失效，这样的效果主要用于会话保持，单台客户端一直保持某个IP连接。
$ vim /etc/nginx/nginx.conf
worker_processes 1;
events {
worker_connections 1024;
}
http {
include mime.types;
default_type application/octet-stream;
sendfile on;
keepalive_timeout 65;
upstream web_pools {
ip_hash; #ip_hash算法
server 42.51.78.141:80 weight=5;
server 42.51.78.142:80 weight=5;
#server 42.51.78.142:80 weight=5 backup; #使用ip_hash算法不允许使用backup
}
server {
listen 80; #这是我们的web端口
server_name gky.myit.icu; #这是我们的域名
location / {
root html;
index index.html index.htm;
proxy_pass http://web_pools;
}
}
在lb01机器上进行访问—nginx的ip_hash算法已经有了效果
[root@lb01 ~]#curl 42.51.78.143
This is Server 42.51.78.142
[root@lb01 ~]#curl 42.51.78.143
This is Server 42.51.78.142
[root@lb01 ~]#curl 42.51.78.143
This is Server 42.51.78.142
[root@lb01 ~]#curl 42.51.78.143
This is Server 42.51.78.142
[root@lb01 ~]#curl 42.51.78.143
This is Server 42.51.78.142
[root@lb01 ~]#curl 42.51.78.143
This is Server 42.51.78.142
[root@lb01 ~]#curl 42.51.78.143
This is Server 42.51.78.142
[root@lb01 ~]#curl 42.51.78.143
This is Server 42.51.78.142
三：使用backup热备功能—当主nginx关掉，会立即切换到备nginx上
vim /etc/nginx/nginx.conf
worker_processes 1;
events {
worker_connections 1024;
}
http {
include mime.types;
default_type application/octet-stream;
sendfile on;
keepalive_timeout 65;
upstream web_pools {
server 42.51.78.141:80 weight=5;
server 42.51.78.142:80 weight=5 backup; #这里是备
}
server {
listen 80; #这是我们的web端口
server_name gky.myit.icu; #这是我们的域名
location / {
root html;
index index.html index.htm;
proxy_pass http://web_pools;
}
}
}
重启nginx服务
systemctl restart nginx
在lb01机器上进行访问Nginx—发现请求都在主Nginx上
[root@lb01 ~]#curl 42.51.78.143
This is Server 42.51.78.141
[root@lb01 ~]#curl 42.51.78.143
This is Server 42.51.78.141
[root@lb01 ~]#curl 42.51.78.143
This is Server 42.51.78.141
[root@lb01 ~]#curl 42.51.78.143
This is Server 42.51.78.141
在42.51.78.141机器上停止主Nginx
systemctl stop nginx
在lb01机器上再次进行访问Nginx—发现已经切换到备Nginx上
[root@lb01 ~]#curl 42.51.78.143
This is Server 42.51.78.142
[root@lb01 ~]#curl 42.51.78.143
This is Server 42.51.78.142
[root@lb01 ~]#curl 42.51.78.143
This is Server 42.51.78.142
[root@lb01 ~]#curl 42.51.78.143
This is Server 42.51.78.142
在42.51.78.141机器上启动主Nginx
systemctl start nginx
在lb01机器上再次进行访问Nginx—发现已经切换到主Nginx上
[root@lb01 ~]#curl 42.51.78.143
This is Server 42.51.78.141
[root@lb01 ~]#curl 42.51.78.143
This is Server 42.51.78.141
[root@lb01 ~]#curl 42.51.78.143
This is Server 42.51.78.141
[root@lb01 ~]#curl 42.51.78.143
This is Server 42.51.78.141
在42.51.78.143和42.51.78.144机器上安装Keepalived 安装基础软件：
yum install -y gcc openssl-devel libnl libnl-devel libnfnetlink-devel net-tools vim wget pcre socat conntrack
安装keepalived
yum install -y keepalived
配置MASTER 在42.51.78.143服务器上操作 备份默认的keepalived配置
mv /etc/keepalived/keepalived.conf /tmp/keepalived-back.conf
编辑配置 vim /etc/keepalived/keepalived.conf 添加以下配置:
global_defs {
router_id LVS_01 # 设置lvs的id，在一个网络内应该是唯一的
}
vrrp_instance VI_1 {
state MASTER #指定Keepalived的角色，MASTER为主，BACKUP为备 记得大写
interface eth0 #网卡id 不同的电脑网卡id会有区别 可以使用:ip a查看
virtual_router_id 51 #虚拟路由编号，主备要一致
priority 150 #定义优先级，数字越大，优先级越高，主DR必须大于备用DR
advert_int 1 #检查间隔，默认为1s
authentication { #这里配置的密码最多为8位，主备要一致，否则无法正常通讯
auth_type PASS
auth_pass 1997
}
virtual_ipaddress {
42.51.78.140/24 #定义虚拟IP(VIP)为42.51.78.140，可多设，每行一个
}
}
配置BACKUP 在42.51.78.144服务器上操作 备份默认的keepalived配置
mv /etc/keepalived/keepalived.conf /tmp/keepalived-back.conf
编辑配置 vim /etc/keepalived/keepalived.conf
添加以下配置:
global_defs {
router_id LVS_02 # 设置lvs的id，在一个网络内应该是唯一的
}
vrrp_instance VI_1 {
state BACKUP #指定Keepalived的角色，MASTER为主，BACKUP为备 记得大写
interface eth0 #网卡id 不同的电脑网卡id会有区别 可以使用:ip a查看
virtual_router_id 51 #虚拟路由编号，主备要一致
priority 100 #定义优先级，数字越大，优先级越高，主DR必须大于备用DR
advert_int 1 #检查间隔，默认为1s
authentication { #这里配置的密码最多为8位，主备要一致，否则无法正常通讯
auth_type PASS
auth_pass 1997
}
virtual_ipaddress {
42.51.78.140/24 #定义虚拟IP(VIP)为42.51.78.140，可多设，每行一个
}
}
设置开机自启并启动和查看状态
systemctl enable keepalived --now && systemctl status keepalived
配置注意项 router_id
后面跟的自定义的ID在同一个网络下是一致的
state
state后跟的MASTER和BACKUP必须是大写；否则会造成配置无法生效的问题
interface
网卡ID；这个值不能完全拷贝我的配置，要根据自己的实际情况来看，可以使用
Priority
主备优先级
MASTER中配置的priority必须比BACKUP大；差值最好>=50
Authentication
主备之间的认证方式
一般使用PASS即可；主备配置必须一致；否则无法通讯，会导致裂脑；密码不能大于8位
virtual_ipaddress
配置的VIP；允许配置多个
检查lb01机器上主keepalived 启动后的配置情况
ip a
如果网卡下出现42.51.78.140（VIP）说明主已经启动成功
检查lb02机器上备keepalived 启动后的配置情况
ip a
备服务器的网卡下没有出现42.51.78.140（VIP）的ip，说明备服务正常
注：如果这里也出现了VIP，那么说明裂脑了，需要检查防火墙是否配置正确；是否允许了vrrp的多播通讯
问题回顾：
1：我在hyper-集群上，VIP的ip一直出现脑裂，用esxi集群就没问题
2：我在esxi集群上使用的VIP的ip出现不通，
原因一：arp没清理，
原因二：iptables -L查看规则，发现存在一个规则，这个可能是跟我安装了ipvsadm有关。 使用iptables -X和iptables -F进行清除即可。
-F 是清空指定某个 chains 内所有的 rule 设定。比方 iptables -F -t filter，那就是把 filter table 内所有的INPUT/OUTPUT/FORWARD chain 设定的规则都清空。
-X 是删除使用者自订 table 项目，一般使用 iptables -N xxx 新增自订 chain 后，可以使用 iptables -X xxx 删除之。
给Keepalived设置日志文件 原日志在此文件，比较杂乱
tail -f /var/log/messages
设置日志的配置信息
vim /etc/sysconfig/keepalived
KEEPALIVED_OPTIONS="-D -S 0 -d"
设置syslog日志配置文件
vim /etc/syslog.conf
local0.* /var/log/keepalived.log
重启rsyslog
systemctl restart rsyslog
重启keepalived
systemctl restart keepalived
查看Keepalived日志信息
tail -f /var/log/keepalived.log
Keepalived高可用测试 停掉主keepalived
systemctl stop keepalived
VIP漂移至备keepalived
在lb02机器上通过命令：ip a|grep 42.51.78.140 可以查看到
此时网页访问:42.51.78.140依然能够正常访问；却分发依然正常 启动主keepalived
主服务恢复之后；VIP又会自动漂移回主keepalived服务
在lb01机器上通过命令：ip a|grep 42.51.78.140 可以查看到