1、 Nginx相关概念
1.1、反向代理
反向代理(Reverse Proxy)方式是指以代理服务器来接受internet上的连接请求,然后将请求转发给内部网络上的服务器,并将从服务器上得到的结果返回给internet上请求连接的客户端,此时代理服务器对外就表现为一个服务器。
1.2、负载均衡
负载均衡,英文名称为Load Balance,是指建立在现有网络结构之上,并提供了一种廉价有效透明的方法扩展网络设备和服务器的带宽、增加吞吐量、加强网络数据处理能力、提高网络的灵活性和可用性。其原理就是数据流量分摊到多个服务器上执行,减轻每台服务器的压力,多台服务器共同完成工作任务,从而提高了数据的吞吐量。
2、Nginx的安装
2.1、 下载Nginx
官网:http://nginx.org/
2.2 上传并解压
tar -zxvf nginx-1.8.1.tar.gz
2.3、编译Nginx
# 进入到nginx源码目录
cd /opt/soft/nginx-1.8.1
# 检查安装环境,并指定将来要安装的路径
./configure --prefix=/opt/app/nginx
# 缺包报错./configure: error: C compiler cc is not found
# 使用YUM安装缺少的包
yum -y install gcc pcre-devel openssl openssl-devel
./configure --prefix=/opt/app/nginx
# 编译安装
make&& make install
启动: /opt/app/nginx/sbin/nginx
查看端口是否有ngnix进程监听
netstat -ntlp | grep 80
3、配置Nginx
3.1、配置反向代理
1、修改nginx.conf 文件 vi /opt/app/nginx/conf/nginx.conf
server {
listen80;
server_name mini4; #nginx所在服务器的主机名
#反向代理的配置
location / { #拦截所有请求
root html;
proxy_pass http://192.168.206.131:8081; #这里是代理走向的目标服务器:tomcat
}
}
2、重启Nginx:
./opt/app/nginx/sbin/nginx -s reload
3、启动tomcat , 访问服务,端口为80
3.2、配置动静分离
# 动态资源
location ~ .*\.(jsp|do|action)$ {
proxy_pass http://tomcat-01.itcast.cn:8080;
}
# 静态资源
location ~.*\.(html|js|css|gif|jpg|jpeg|png)$ {
expires 3d;
}
3.3 负载均衡
在http这个节点下面配置一个叫upstream的,后面的名字可以随意取,但是要和location下的proxy_pass http://后的保持一致。
http {
# 是在http里面的,已有http,不是在server里,在server外面
upstream tomcats{
server 192.168.206.128:8080 weight=1; #weight表示多少个
server 192.168.206.129:8080 weight=1;
server 192.168.206.130:8080 weight=1;
}
#卸载server里
location ~ .*\.(jsp|do|action) {
proxy_pass http://tomcats; #tomcats是后面的tomcat服务器组的逻辑组号
}
}
4、用keeplived 实现高可用(HA)
4.1 高可用概念
HA(High Available),高可用性集群,是保证业务连续性的有效解决方案,一般有两个或两个以上的节点,且分为活动节点及备用节点。
4.2、高可靠软件keepalived
keepalived是一款可以实现高可靠的软件,通常部署在2台服务器上,分为一主一备。Keepalived可以对本机上的进程进行检测,一旦Master检测出某个进程出现问题,将自己切换成Backup状态,然后通知另外一个节点切换成Master状态。
4.3、 keepalived 安装
下载keepalived官网: http://keepalived.org
上传源码包,并解压(1.3.8版本)
tar -zxvf keepalived-1.3.8.tar.gz
进入到 解压后的keepalived目录
cd /opt/soft/keepalived-1.3.8
# 检查安装环境,并指定将来要安装的路径
./configure --prefix=/opt/app/keepalived
# 系统出现警告
WARNING - this build will not support IPVS with IPv6. Please install libnl/libnl-3 dev libraries to support IPv6 with IPVS.
安装依赖包: yum -y install libnl libnl-devel
然后再执行: ./configure --prefix=/opt/app/keepalived
这次出现错误:
configure: error: libnfnetlink headers missing
安装依赖包: yum install -y libnfnetlink-devel
然后再执行:./configure --prefix=/opt/app/keepalived
# 编译并安装 make && make install
结果报错。(没有解决)
安装1.2.19版本:
./configure --prefix=/opt/app/keepalived
make && make install
安装过程中没有报错。
4.4、将keepalived添加到系统服务中
# 拷贝执行文件
cp /opt/app/keepalived/sbin/keepalived /usr/sbin/
# 将init.d文件拷贝到etc下,加入开机启动项
cp /opt/app/keepalived/etc/rc.d/init.d/keepalived /etc/init.d/keepalived
# 将keepalived文件拷贝到etc下
cp /opt/app/keepalived/etc/sysconfig/keepalived /etc/sysconfig/
# 创建keepalived文件夹
mkdir -p /etc/keepalived
# 将keepalived配置文件拷贝到etc下
cp /opt/app/keepalived/etc/keepalived/keepalived.conf /etc/keepalived/keepalived.conf
# 添加可执行权限
chmod +x /etc/init.d/keepalived
# 最后,添加keepalived到开机启动
chkconfig --add keepalived
chkconfig keepalived on
4.5、配置keepalived虚拟IP
修改配置文件: /etc/keepalived/keepalived.conf
# master节点配置
global_defs {
}
vrrp_instance VI_1 {
state MASTER #指定A节点为主节点 备用节点上设置为BACKUP即可
interface eth0 #绑定虚拟IP的网络接口
virtual_router_id 51 #VRRP组名,两个节点的设置必须一样,以指明各个节点属于同一VRRP组
priority 100 #主节点的优先级(1-254之间),备用节点必须比主节点优先级低
advert_int 1 #组播信息发送间隔,两个节点设置必须一样
authentication { #设置验证信息,两个节点必须一致
auth_type PASS
auth_pass 1111
}
virtual_ipaddress { #指定虚拟IP, 两个节点设置必须一样
192.168.206.110/24 #如果两个nginx的ip分别是192.168.206.128,,...129,则此处的虚拟ip跟它俩同一个网段即可
}
}
# BACKUP节点
global_defs {
}
vrrp_instance VI_1 {
state BACKUP
interface eth0
virtual_router_id 51
priority 99
advert_int 1
authentication {
auth_type PASS
auth_pass 1111
}
virtual_ipaddress {
192.168.206.110/24
}
}
# 分别启动两台机器上的keepalived
service keepalived start
测试:
杀掉master上的keepalived进程,你会发现,在slave机器上的eth0网卡多了一个ip地址
查看ip地址的命令: ip addr
4.6、配置keepalived心跳检查
原理:
Keepalived并不跟nginx耦合,它俩完全不是一家人
但是keepalived提供一个机制:让用户自定义一个shell脚本去检测用户自己的程序,返回状态给keepalived就可以了
# MASTER节点
global_defs {
}
vrrp_script chk_health {
script "[[ `ps -ef | grep nginx | grep -v grep | wc -l` -ge 2 ]] && exit 0 || exit 1"
interval 1 #每隔1秒执行上述的脚本,去检查用户的程序ngnix
weight -2
}
vrrp_instance VI_1 {
state MASTER
interface eth0
virtual_router_id 1
priority 100
advert_int 2
authentication {
auth_type PASS
auth_pass 1111
}
track_script {
chk_health
}
virtual_ipaddress {
192.168.206.110/24
}
notify_master "/opt/app/keepalived/sbin/notify.sh master"
notify_backup "/opt/app/keepalived/sbin/notify.sh backup"
notify_fault "/opt/app/keepalived/sbin/notify.sh fault"
}
# BACKUP节点
global_defs {
}
vrrp_script chk_health {
script "[[ `ps -ef | grep nginx | grep -v grep | wc -l` -ge 2 ]] && exit 0 || exit 1"
interval 1
weight -2
}
vrrp_instance VI_1 {
state BACKUP
interface eth0
virtual_router_id 1
priority 99
advert_int 1
authentication {
auth_type PASS
auth_pass 1111
}
track_script {
chk_health
}
virtual_ipaddress {
192.168.206.110/24
}
notify_master "/usr/local/keepalived/sbin/notify.sh master"
notify_backup "/usr/local/keepalived/sbin/notify.sh backup"
notify_fault "/usr/local/keepalived/sbin/notify.sh fault"
}
# 添加切换通知脚本
vi /opt/app/keepalived/sbin/notify.sh
#!/bin/bash
case "$1" in
master)
/opt/app/nginx/sbin/nginx
exit 0
;;
backup)
/opt/app/nginx/sbin/nginx -s stop
/opt/app/nginx/sbin/nginx
exit 0
;;
fault)
/opt/app/nginx/sbin/nginx -s stop
exit 0
;;
*)
echo 'Usage: notify.sh {master|backup|fault}'
exit 1
;;
esac
# 添加执行权限
chmod +x /opt/app/keepalived/sbin/notify.sh
# 在第二台机器上添加notify.sh脚本
#分别在两台机器上启动keepalived
service keepalived start
keepalived 详细配置:
(以下配置没有实际用过)
global_defs {
notification_email { #指定keepalived在发生切换时需要发送email到的对象,一行一个
[email protected]
}
notification_email_from [email protected] #指定发件人
smtp_server localhost #指定smtp服务器地址
smtp_connect_timeout 30 #指定smtp连接超时时间
router_id LVS_DEVEL #运行keepalived机器的一个标识
}
vrrp_sync_group VG_1{ #监控多个网段的实例
group {
inside_network #实例名
outside_network
}
notify_master /path/xx.sh #指定当切换到master时,执行的脚本
netify_backup /path/xx.sh #指定当切换到backup时,执行的脚本
notify_fault "path/xx.sh VG_1" #故障时执行的脚本
notify /path/xx.sh
smtp_alert #使用global_defs中提供的邮件地址和smtp服务器发送邮件通知
}
vrrp_instance inside_network {
state BACKUP #指定那个为master,那个为backup,如果设置了nopreempt这个值不起作用,主备考priority决定
interface eth0 #设置实例绑定的网卡
dont_track_primary #忽略vrrp的interface错误(默认不设置)
track_interface{ #设置额外的监控,里面那个网卡出现问题都会切换
eth0
eth1
}
mcast_src_ip #发送多播包的地址,如果不设置默认使用绑定网卡的primary ip
garp_master_delay #在切换到master状态后,延迟进行gratuitous ARP请求
virtual_router_id 50 #VPID标记
priority 99 #优先级,高优先级竞选为master
advert_int 1 #检查间隔,默认1秒
nopreempt #设置为不抢占 注:这个配置只能设置在backup主机上,而且这个主机优先级要比另外一台高
preempt_delay #抢占延时,默认5分钟
debug #debug级别
authentication { #设置认证
auth_type PASS #认证方式
auth_pass 111111 #认证密码
}
virtual_ipaddress { #设置vip
192.168.202.200
}
}
virtual_server 192.168.202.200 23 {
delay_loop 6 #健康检查时间间隔
lb_algo rr #lvs调度算法rr|wrr|lc|wlc|lblc|sh|dh
lb_kind DR #负载均衡转发规则NAT|DR|RUN
persistence_timeout 5 #会话保持时间
protocol TCP #使用的协议
persistence_granularity #lvs会话保持粒度
virtualhost #检查的web服务器的虚拟主机(host:头)
sorry_server #备用机,所有realserver失效后启用
real_server 192.168.200.5 23 {
weight 1 #默认为1,0为失效
inhibit_on_failure #在服务器健康检查失效时,将其设为0,而不是直接从ipvs中删除
notify_up | #在检测到server up后执行脚本
notify_down | #在检测到server down后执行脚本
TCP_CHECK {
connect_timeout 3 #连接超时时间
nb_get_retry 3 #重连次数
delay_before_retry 3 #重连间隔时间
connect_port 23 健康检查的端口的端口
bindto
}
HTTP_GET | SSL_GET{
url{ #检查url,可以指定多个
path /
digest #检查后的摘要信息
status_code 200 #检查的返回状态码
}
connect_port
bindto
connect_timeout 5
nb_get_retry 3
delay_before_retry 2
}
SMTP_CHECK{
host{
connect_ip
connect_port #默认检查25端口
bindto
}
connect_timeout 5
retry 3
delay_before_retry 2
helo_name | #smtp helo请求命令参数,可选
}
MISC_CHECK{
misc_path | #外部脚本路径
misc_timeout #脚本执行超时时间
misc_dynamic #如设置该项,则退出状态码会用来动态调整服务器的权重,返回0 正常,不修改;返回1,
检查失败,权重改为0;返回2-255,正常,权重设置为:返回状态码-2
}
}
}