【群集】——keepalived+LVS-DR+GFS+zabbix
目录
拓扑图
案例实施
1、环境配置
1.1、配置IP地址
1.2、GFS添加磁盘
2、Keepalived
2.1、配置主调度器
2.2、配置备份调度器
3、LVS-DR
3.1、负载均衡
3.1.1、关闭icmp重定向
3.1.2、配置负载分配策略
3.2、配置主调度器
3.3、配置备份调度器
4、GFS
4.1、web端
4.1.1、web配置VIP
4.1.2、关闭部分arp应答
4.1.3、配置httpd
4.2、配置GFS端
4.2.1、创建复制卷
4.2.2、web挂载复制卷
4.2.3、测试
5、zabbix
5.1、安装
5.1.1、创建zabbix源
5.1.2、安装MariaDB
5.1.3、安装Zabbix
5.1.4、配置zabbix
5.2 、zabbix界面优化
5.3、监控LVS
5.3.1、web界面配置
5.4、监控web
5.4.1、web界面配置
：事实证明大虾还是好吃的。
拓扑图
案例实施
1、环境配置
环境要求：如图所示配置IP地址，所有主机桥接到vmnet1，并关闭防火墙和Selinux。GFS两台服务器分别添加两块20G的磁盘，客户端使用宿主机。
1.1、配置IP地址
关于IP的配置这里以web1为例，只有web1和web2添加两块网卡，相对比其他服务器的配置只是多一块需要配置的网卡，其他服务器正常配置IP即可。
[root@web1 ~]# systemctl stop firewalld
[root@web1 ~]# systemctl disable firewalld
[root@web1 ~]# setenforce 0
[root@web1 ~]# cd /etc/sysconfig/network-scripts/
[root@web1 network-scripts]# vim ifcfg-ens33
......省略部分内容
BOOTPROTO=static
NAME=ens33
DEVICE=ens33
ONBOOT=yes
IPADDR=192.168.1.3
NETMASK=255.255.255.0
[root@web1 network-scripts]# cp ifcfg-ens33 ifcfg-ens36
[root@web1 network-scripts]# vim ifcfg-ens36
......省略部分内容
BOOTPROTO=static
NAME=ens36
DEVICE=ens36
ONBOOT=yes
IPADDR=200.0.0.3
NETMASK=255.255.255.0
[root@web1 network-scripts]# systemctl restart network1.2、GFS添加磁盘
关于磁盘可以开机前添加，会自动识别磁盘。若开机后添加可以执行以下命令识别磁盘。
echo "- - -" >> /sys/class/scsi_host/host0/scan
echo "- - -" >> /sys/class/scsi_host/host1/scan
echo "- - -" >> /sys/class/scsi_host/host2/scan 到目前的配置，web1和web2可以ping通全网，而公网和私网则不能相互ping通。GFS1和GFS2每台服务器上都有一块sdb磁盘。
2、Keepalived
搭建Keepalived实现Lvs的双机热备。本次使用yum方式安装keepalived和ipvsadm管理工具。LVS1和LVS2都需要那种，这里以LVS1为例。
[root@lvs1 ~]# yum -y install keepalived ipvsadm
[root@lvs1 ~]# systemctl enable keepalived2.1、配置主调度器
[root@lvs1 ~]# cd /etc/keepalived/
[root@lvs1 keepalived]# cp keepalived.conf keepalived.conf.back
[root@lvs1 keepalived]# vim keepalived.conf
! Configuration File for keepalived
global_defs {
......省略部分内容
router_id LVS1 //主调度器名称
}
vrrp_instance VI_1 {
state MASTER //主调度器的热备状态
interface ens33 //修改接口网卡
virtual_router_id 51
priority 100
advert_int 1
authentication {
auth_type PASS
auth_pass 1111
}
virtual_ipaddress {
200.0.0.100 //配置漂移地址
}
}
[root@lvs1 keepalived]# systemctl start keepalived
[root@lvs1 keepalived]# ip addr show dev ens33 //查看漂移地址
2: ens33: mtu 1500 qdisc pfifo_fast state UP qlen 1000
link/ether 00:0c:29:16:da:97 brd ff:ff:ff:ff:ff:ff
inet 200.0.0.1/24 brd 200.0.0.255 scope global ens33
valid_lft forever preferred_lft forever
inet 200.0.0.100/32 scope global ens33 //此时漂移地址在主调度器上
valid_lft forever preferred_lft forever
inet6 fe80::c3cf:e745:3647:394a/64 scope link
valid_lft forever preferred_lft forever 2.2、配置备份调度器
[root@lvs2 ~]# cd /etc/keepalived/
[root@lvs2 keepalived]# cp keepalived.conf keepalived.conf.bak
[root@lvs2 keepalived]# vim keepalived.conf
! Configuration File for keepalived
global_defs {
......省略部分内容
router_id LVS2 //备份调度器名称
}
vrrp_instance VI_1 {
state BACKUP //备份调度器的热备状态
interface ens33 //修改接口网卡
virtual_router_id 51
priority 99 //修改优先级别
advert_int 1
authentication {
auth_type PASS
auth_pass 1111
}
virtual_ipaddress {
200.0.0.100 //配置漂移地址
}
}
[root@lvs2 keepalived]# systemctl start keepalived
[root@lvs2 keepalived]# ip addr show dev ens33 //查看漂移地址
2: ens33: mtu 1500 qdisc pfifo_fast state UP qlen 1000
link/ether 00:0c:29:55:f7:8d brd ff:ff:ff:ff:ff:ff
inet 200.0.0.2/24 brd 200.0.0.255 scope global ens33
valid_lft forever preferred_lft forever
inet6 fe80::15ae:efbc:5794:874b/64 scope link
valid_lft forever preferred_lft forever 备份服务器仍处于备份状态，因此备份服务器不会为ens33接口添加VIP地址。当主服务器失效时，VIP地址才会过来，达到了双机热备的功能。
3、LVS-DR
3.1、负载均衡
两台LVS都需要配置选项3.1中的内容（关闭ICMP重定向，配置策略）。
3.1.1、关闭icmp重定向
[root@lvs1 ~]# vim /etc/sysctl.conf
net.ipv4.conf.all.send_redirects = 0
net.ipv4.conf.default.send_redirects = 0
net.ipv4.conf.ens33.send_redirects = 0
[root@lvs1 ~]# sysctl -p3.1.2、配置负载分配策略
[root@lvs1 ~]# ipvsadm -C //清除原有策略
[root@lvs1 ~]# ipvsadm -A -t 200.0.0.100:80 -s rr
[root@lvs1 ~]# ipvsadm -a -t 200.0.0.100:80 -r 200.0.0.3 -g -w 1
[root@lvs1 ~]# ipvsadm -a -t 200.0.0.100:80 -r 200.0.0.4 -g -w 1
[root@lvs1 ~]# ipvsadm-save //保存策略
-A -t lvs1:http -s rr
-a -t lvs1:http -r 200.0.0.3:http -g -w 1
-a -t lvs1:http -r 200.0.0.4:http -g -w 1
[root@lvs1 ~]# systemctl enable ipvsadm3.2、配置主调度器
通过配置文件添加两台web节点。
[root@lvs1 ~]# vim /etc/keepalived/keepalived.conf
vrrp_instance VI_1 { //在vrrp配置模块下面添加节点
......省略部分内容
virtual_ipaddress {
200.0.0.100
}
}
......省略部分内容
virtual_server 200.0.0.100 80 { //以下内容需要修改添加节点信息
delay_loop 15
lb_algo rr
lb_kind DR
protocol TCP
real_server 200.0.0.3 80 {
weight 1
TCP_CHECK {
connect_port 80
connect_timeout 3
nb_get_retry 3
delay_before_retry 4
}
}
real_server 200.0.0.4 80 {
weight 1
TCP_CHECK {
connect_port 80
connect_timeout 3
nb_get_retry 3
delay_before_retry 4
}
}
}
[root@lvs1 ~]# systemctl restart keepalived3.3、配置备份调度器
相同的方法配置完主调度器后，接着配置备份调度器。
[root@lvs2 ~]# vim /etc/keepalived/keepalived.conf
vrrp_instance VI_1 { //在vrrp配置模块下面添加节点
......省略部分内容
virtual_ipaddress {
200.0.0.100
}
}
......省略部分内容
virtual_server 200.0.0.100 80 { //以下内容需要修改添加节点信息
delay_loop 15
lb_algo rr
lb_kind DR
protocol TCP
real_server 200.0.0.3 80 {
weight 1
TCP_CHECK {
connect_port 80
connect_timeout 3
nb_get_retry 3
delay_before_retry 4
}
}
real_server 200.0.0.4 80 {
weight 1
TCP_CHECK {
connect_port 80
connect_timeout 3
nb_get_retry 3
delay_before_retry 4
}
}
}
[root@lvs2 ~]# systemctl restart keepalived4、GFS
4.1、web端
GFS的配置如下表所示，两台服务器实现复制卷，复制卷的名称为share。
在两个web服务器将share复制卷挂载到web服务器的/var/www/html下。
| IP | 主机名 | 挂载盘 | 挂载目录 |
|---|---|---|---|
| 192.168.1.1 | gfs1 | /dev/sdb（20G） | /b3 |
| 192.168.1.2 | gfs2 | /dev/sdb（20G） | /b3 |
4.1.1、web配置VIP
每个web服务器上都需要配置漂移地址（VIP）。
[root@web1 ~]# cd /etc/sysconfig/network-scripts/
[root@web1 network-scripts]# cp ifcfg-lo ifcfg-lo:0
[root@web1 network-scripts]# vim ifcfg-lo:0
DEVICE=lo:0
IPADDR=200.0.0.100
NETMASK=255.255.255.255
ONBOOT=yes
[root@web1 network-scripts]# ifup lo:0
[root@web1 network-scripts]# ifconfig lo:0
lo:0: flags=73 mtu 65536
inet 200.0.0.100 netmask 255.255.255.255
loop txqueuelen 1 (Local Loopback)
[root@web1 network-scripts]# vim /etc/rc.local
......省略部分内容
/sbin/route add -host 200.0.0.100 dev lo:0 //添加一条路由
[root@web1 network-scripts]# route add -host 200.0.0.100 dev lo:0 4.1.2、关闭部分arp应答
[root@web1 ~]# vim /etc/sysctl.conf
net.ipv4.conf.all.arp_ignore = 1
net.ipv4.conf.all.arp_announce = 2
net.ipv4.conf.default.arp_ignore = 1
net.ipv4.conf.default.arp_announce = 2
net.ipv4.conf.lo.arp_ignore = 1
net.ipv4.conf.lo.arp_announce = 2
[root@web1 ~]# sysctl -p4.1.3、配置httpd
[root@web1 ~]# yum -y install httpd
[root@web1 ~]# echo "111" > /var/www/html/index.html
[root@web1 ~]# systemctl start httpd
[root@web1 ~]# systemctl enable httpd4.2、配置GFS端
两台GFS服务器都需要配置，以下gfs1和gfs2配置相同，我以gfs1为例，gfs2相反配置即可。
[root@gfs1 ~]# vim /etc/hosts //GFS本地节点解析
192.168.1.1 node1
192.168.1.2 node2
[root@gfs1 ~]# yum -y install glusterfs glusterfs-server glusterfs-fuse glusterfs-rdma
[root@gfs1 ~]# systemctl start glusterd
[root@gfs1 ~]# systemctl enable glusterd
[root@gfs1 ~]# gluster peer probe node1 //本身在gfs1上操作，所以node1也可以不执行
peer probe: success. Probe on localhost not needed
[root@gfs1 ~]# gluster peer probe node2
peer probe: success.
[root@gfs1 ~]# gluster peer status //查看GFS群集状态
Number of Peers: 1
Hostname: node2
Uuid: 16bc8386-0168-4c21-8ed3-e762f1bd8c77
State: Peer in Cluster (Connected)4.2.1、创建复制卷
使用fdisk命令创建一个20G的磁盘空间为sdb1并格式化。两台GFS服务器创建成复制卷，卷名为share。
[root@gfs1 ~]# fdisk /dev/sdb
n→p→回车→回车→回车→w保存退出
[root@gfs1 ~]# mkfs.xfs /dev/sdb1
[root@gfs1 ~]# gluster volume create share replica 2 node1:/b1 node2:/b1 force
volume create: share: success: please start the volume to access data
[root@gfs1 ~]# gluster volume start share
volume start: share: success4.2.2、web挂载复制卷
web1配置如下：
[root@web1 ~]# yum -y install glusterfs glusterfs-fuse
[root@web1 ~]# vim /etc/hosts
192.168.1.1 node1
192.168.1.2 node2
[root@web1 ~]# mount -t glusterfs node1:share /var/www/html/
[root@web1 ~]# df -h
文件系统 容量 已用 可用 已用% 挂载点
/dev/mapper/cl-root 17G 3.8G 14G 23% /
devtmpfs 473M 0 473M 0% /dev
tmpfs 489M 144K 489M 1% /dev/shm
tmpfs 489M 7.1M 482M 2% /run
tmpfs 489M 0 489M 0% /sys/fs/cgroup
/dev/sda1 1014M 173M 842M 18% /boot
tmpfs 98M 12K 98M 1% /run/user/0
/dev/sr0 53M 53M 0 100% /media
node1:share 17G 3.8G 14G 23% /var/www/htmlweb2配置如下：
[root@web2 ~]# yum -y install glusterfs glusterfs-fuse
[root@web2 ~]# vim /etc/hosts
192.168.1.1 node1
192.168.1.2 node2
[root@web2 ~]# mount -t glusterfs node1:share /var/www/html/
[root@web2 ~]# df -hT
文件系统 类型 容量 已用 可用 已用% 挂载点
/dev/mapper/cl-root xfs 17G 3.9G 14G 23% /
devtmpfs devtmpfs 473M 0 473M 0% /dev
tmpfs tmpfs 489M 144K 489M 1% /dev/shm
tmpfs tmpfs 489M 7.1M 482M 2% /run
tmpfs tmpfs 489M 0 489M 0% /sys/fs/cgroup
/dev/sda1 xfs 1014M 173M 842M 18% /boot
tmpfs tmpfs 98M 12K 98M 1% /run/user/0
/dev/sr0 iso9660 53M 53M 0 100% /media
node1:share fuse.glusterfs 17G 3.8G 14G 23% /var/www/html到目前为止，复制卷就已经创建完了。下一步需要测试了，在挂载盘中创建文件，查看网页内容。
4.2.3、测试
在上面挂了盘以后，之前的内容就已经消失了，所以还得从新创建一个新的网页内容。在web1上创建一个内容，内容会同步到web2上，客户端查看的内容就会是后面创建的内容。
[root@web1 ~]# echo "666" > /var/www/html/index.html
......web2查看网页内容
[root@web2 ~]# cat /var/www/html/index.html
666 
5、zabbix
无监控不运维，最后搭建Zabbix服务器分别监控LVS服务器和web服务器的性能。
5.1、安装
5.1.1、创建zabbix源
挂盘后将文件复制到创建的目录中，yum仓库目录指向zabbix。
[root@zabbix ~]# mkdir /zabbix
[root@zabbix ~]# cp /media/* /zabbix
[root@zabbix ~]# cd /zabbix
[root@zabbix zabbix]# createrepo .
[root@zabbix ~]# rm -rf /etc/yum.repos.d/*
[root@zabbix ~]# vim /etc/yum.repos.d/a.repo
[a]
name=a
baseurl=file:///zabbix
gpgcheck=05.1.2、安装MariaDB
[root@zabbix ~]# yum -y install mariadb-server mariadb
[root@zabbix ~]# systemctl start mariadb
[root@zabbix ~]# systemctl enable mariadb
[root@zabbix ~]# mysqladmin -u root password "123"5.1.3、安装Zabbix
[root@zabbix ~]# yum -y install zabbix-server-mysql zabbix-web-mysql zabbix-agent
[root@zabbix ~]# mysql -u root -p
Enter password: //输入密码
MariaDB [(none)]> create database zabbix character set utf8 collate utf8_bin;
Query OK, 1 row affected (0.00 sec)
MariaDB [(none)]> grant all privileges on zabbix.* to zabbix@localhost identified by "456";
Query OK, 0 rows affected (0.00 sec)5.1.4、配置zabbix
[root@zabbix ~]# zcat /usr/share/doc/zabbix-server-mysql-3.4.1/create.sql.gz | mysql -uzabbix -p zabbix
Enter password:
[root@zabbix ~]# cp /etc/zabbix/zabbix_server.conf /etc/zabbix/zabbix_server.conf.bak
[root@zabbix ~]# vim /etc/zabbix/zabbix_server.conf
DBHost=localhost
DBPassword=456
[root@zabbix ~]# cp /etc/zabbix/zabbix_agentd.conf /etc/zabbix/.zabbix_agent.conf.bak
[root@zabbix ~]# vim /etc/zabbix/zabbix_agentd.conf
Server=200.0.0.10 //客户端被动等待指定服务器来查询数据
ServerActive=200.0.0.10 //客户端主动提交数据到指定的服务器
Hostname=Zabbix server //主机名称
[root@zabbix ~]# systemctl start zabbix-server
[root@zabbix ~]# systemctl enable zabbix-server
Created symlink from /etc/systemd/system/multi-user.target.wants/zabbix-server.service to /usr/lib/systemd/system/zabbix-server.service.
[root@zabbix ~]# systemctl start zabbix-agent
[root@zabbix ~]# systemctl enable zabbix-agent
Created symlink from /etc/systemd/system/multi-user.target.wants/zabbix-agent.service to /usr/lib/systemd/system/zabbix-agent.service.
[root@zabbix ~]# systemctl start httpd
[root@zabbix ~]# systemctl enable httpd
Created symlink from /etc/systemd/system/multi-user.target.wants/httpd.service to /usr/lib/systemd/system/httpd.service.
[root@zabbix ~]# vim /etc/httpd/conf.d/zabbix.conf
php_value date.timezone Asia/Shanghai
[root@zabbix ~]# systemctl restart httpd5.2 、zabbix界面优化
浏览器输入http://200.0.0.10/zabbix,用户名默认为Admin密码为zabbix，登录即可见到默认页面。为了页面的美观可以修改中文字体，修改乱码等。
5.3、监控LVS
被监控端安装软件，配置基本相同，这里先只监控LVS主服务器了。
[root@lvs1 ~]# mount /dev/cdrom /media
mount: /dev/sr0 写保护，将以只读方式挂载
[root@lvs1 ~]# rpm -ivh /media/zabbix-agent-3.2.6-1.el7.x86_64.rpm
警告：/media/zabbix-agent-3.2.6-1.el7.x86_64.rpm: 头V4 RSA/SHA512 Signature, 密钥 ID a14fe591: NOKEY
准备中... ################################# [100%]
正在升级/安装...
1:zabbix-agent-3.2.6-1.el7 ################################# [100%]被监控端修改配置文件
[root@lvs1 ~]# vim /etc/zabbix/zabbix_agentd.conf
Hostname=LVS-01
ServerActive=200.0.0.1
Server=200.0.0.1
[root@lvs1 ~]# systemctl start zabbix-agent
[root@lvs1 ~]# systemctl enable zabbix-agent
Created symlink from /etc/systemd/system/multi-user.target.wants/zabbix-agent.service to /usr/lib/systemd/system/zabbix-agent.service.
[root@lvs1 ~]# netstat -anpt | grep agent
tcp 0 0 0.0.0.0:10050 0.0.0.0:* LISTEN 3764/zabbix_agentd
tcp6 0 0 :::10050 :::* LISTEN 3764/zabbix_agentd 5.3.1、web界面配置
新建主机，监控LVS。查看”检测中“→“图形”选择监控的内容就可以看到监控的选项了，还可以自定义添加监控内容。
查看验证
5.4、监控web
被监控端安装软件，配置基本相同，这里只监控web2了。
[root@web2 ~]# rpm -ivh /media/zabbix-agent-3.2.6-1.el7.x86_64.rpm
警告：/media/zabbix-agent-3.2.6-1.el7.x86_64.rpm: 头V4 RSA/SHA512 Signature, 密钥 ID a14fe591: NOKEY
准备中... ################################# [100%]
正在升级/安装...
1:zabbix-agent-3.2.6-1.el7 ################################# [100%]
[root@web2 ~]# vim /etc/zabbix/zabbix_agentd.conf
Hostname=web2
ServerActive=200.0.0.4
Server=200.0.0.4
[root@web2 ~]# systemctl start zabbix-agent
[root@web2 ~]# systemctl enable zabbix-agent
[root@web2 ~]# netstat -antp | grep agent
tcp 0 0 0.0.0.0:10050 0.0.0.0:* LISTEN 49560/zabbix_agentd
tcp6 0 0 :::10050 :::* LISTEN 49560/zabbix_agentd 5.4.1、web界面配置
新建主机，监控web。查看”检测中“→“图形”选择监控的内容就可以看到监控的选项了，还可以自定义添加监控内容。
