yum install gcc-c++
yum install -y pcre pcre-devel
yum install -y zlib zlib-devel
yum install -y openssl openssl-devel
tar -zxvf nginx-1.16.1.tar.gz
mkdir /var/temp/nginx -p
./configure \
--prefix=/usr/local/nginx \
--pid-path=/var/run/nginx/nginx.pid \
--lock-path=/var/lock/nginx.lock \
--error-log-path=/var/log/nginx/error.log \
--http-log-path=/var/log/nginx/access.log \
--with-http_gzip_static_module \
--http-client-body-temp-path=/var/temp/nginx/client \
--http-proxy-temp-path=/var/temp/nginx/proxy \
--http-fastcgi-temp-path=/var/temp/nginx/fastcgi \
--http-uwsgi-temp-path=/var/temp/nginx/uwsgi \
--http-scgi-temp-path=/var/temp/nginx/scgi
命令 | 解释 |
---|---|
–prefix | 指定nginx安装目录 |
–pid-path | 指向nginx的pid |
–lock-path | 锁定安装文件,防止被恶意篡改或误操作 |
–error-log | 错误日志 |
–http-log-pathhttp | 日志 |
–with-http_gzip_static_module | 启用gzip模块,在线实时压缩输出数据流 |
–http-client-body-temp-path | 设定客户端请求的临时目录 |
–http-proxy-temp-path | 设定http代理临时目录 |
–http-fastcgi-temp-path | 设定fastcgi临时目录 |
–http-uwsgi-temp-path | 设定uwsgi临时目录 |
–http-scgi-temp-path | 设定scgi临时目录 |
make
make install
启动:nginx
停止:./nginx -s stop
重新加载:./nginx -s reload
upstream [proxyName] {
server 192.168.1.173:8080;
server 192.168.1.174:8080;
server 192.168.1.175:8080;
}
server {
listem 80;
server_name www.tomcats.com;
location / {
proxy_pass http://tomcats;
}
}
nginx默认采用轮训的方式进行负载均衡
upstream [proxyName] {
server 192.168.1.173:8080 weight=1;
server 192.168.1.174:8080 weight=5;
server 192.168.1.175:8080 weight=2;
}
upstream [proxyName] {
ip_hash
server 192.168.1.173:8080;
server 192.168.1.174:8080;
server 192.168.1.175:8080;
}
hash算法实际上只会计算 192.168.1这段做哈希
使用ip_hash的注意点:
不能把后台服务器直接移除,只能标记down.
upstream [proxyName] {
hash $request_url;
server 192.168.1.173:8080;
server 192.168.1.174:8080;
server 192.168.1.175:8080;
}
upstream [proxyName] {
least_conn;
server 192.168.1.173:8080;
server 192.168.1.174:8080;
server 192.168.1.175:8080;
}
max_conns: 限制最大同时连接数 1.11.5之前只能用于商业版
slow_start: 单位秒,权重在指定时间内从1上升到指定值,不适用与hash负载均衡、随机负载均衡
如果在 upstream 中只有一台 server,则该参数失效(商业版才有)
down: 禁止访问
backup: 备用机 只有在其他服务器无法访问的时候才能访问到 不适用与hash负载均衡、随机负载均衡
max_fails: 表示失败几次,则标记server已宕机,剔出上游服务 默认值1
fail_timeout: 表示失败的重试时间 默认值10
upstream [proxyName] {
server 192.168.1.173:8080 weight=1;
server 192.168.1.174:8080 weight=5;
server 192.168.1.175:8080 weight=2;
keepalive 32; #保持的连接数
}
server {
listem 80;
server_name www.tomcats.com;
location / {
proxy_pass http://tomcats;
proxy_http_version 1.1; #连接的协议版本
proxy_set_header Connection ""; 清空连接请求头
}
}
server {
listem 80;
server_name www.tomcats.com;
location / {
proxy_pass http://tomcats;
expires 10s; #浏览器缓存10秒钟
#expires @22h30m #在晚上10点30的时候过期
#expires -1h #缓存在一小时前时效
#expires epoch #不设置缓存
#expires off #缓存关闭,浏览器自己控制缓存
#expires max #最大过期时间
}
}
upstream [proxyName] {
server 192.168.1.173:8080 weight=1;
server 192.168.1.174:8080 weight=5;
server 192.168.1.175:8080 weight=2;
}
#proxy_cache_path 设置缓存保存的目录的位置
#keys_zone设置共享内以及占用的空间大小
#mas_size 设置缓存最大空间
#inactive 缓存过期时间,错过此时间自动清理
#use_temp_path 关闭零时目录
proxy_cache_path /usr/local/nginx/upsteam_cache keys_zone=mycache:5m max_size=1g inactive=8h use_temp_path=off;
server {
listem 80;
server_name www.tomcats.com;
#开启并使用缓存
proxy_cache mycache;
#针对200和304响应码的缓存过期时间
proxy_cache_valid 200 304 8h;
location / {
proxy_pass http://tomcats;
}
}
要在nginx中配置https,就必须安装ssl模块,也就是: http_ssl_module。
./configure \
--prefix=/usr/local/nginx \
--pid-path=/var/run/nginx/nginx.pid \
--lock-path=/var/lock/nginx.lock \
--error-log-path=/var/log/nginx/error.log \
--http-log-path=/var/log/nginx/access.log \
--with-http_gzip_static_module \
--http-client-body-temp-path=/var/temp/nginx/client \
--http-proxy-temp-path=/var/temp/nginx/proxy \
--http-fastcgi-temp-path=/var/temp/nginx/fastcgi \
--http-uwsgi-temp-path=/var/temp/nginx/uwsgi \
--http-scgi-temp-path=/var/temp/nginx/scgi \
--with-http_ssl_module
make
make install
server {
listen 443;
server_name www.imoocdsp.com;
# 开启ssl
ssl on;
# 配置ssl证书
ssl_certificate 1_www.imoocdsp.com_bundle.crt;
# 配置证书秘钥
ssl_certificate_key 2_www.imoocdsp.com.key;
# ssl会话cache
ssl_session_cache shared:SSL:1m;
# ssl会话超时时间
ssl_session_timeout 5m;
# 配置加密套件,写法遵循 openssl 标准
ssl_protocols TLSv1 TLSv1.1 TLSv1.2;
ssl_ciphers ECDHE-RSA-AES128-GCM-SHA256:HIGH:!aNULL:!MD5:!RC4:!DHE;
ssl_prefer_server_ciphers on;
location / {
proxy_pass http://tomcats/;
index index.html index.htm;
}
}
https://www.keepalived.org/download.html
tar -zxvf keepalived-2.0.18.tar.gz
./configure --prefix=/usr/local/keepalived --sysconf=/etc
*** WARNING - this build will not support IPVS with IPv6. Please install libnl/libnl-3 dev libraries to support IPv6 with IPVS.
# 安装libnl/libnl-3依赖
yum -y install libnl libnl-devel
make && make install
whereis keepalived
进入sbin目录
./keepalived
global_defs {
# 路由id:当前安装keepalived的节点主机标识符,保证全局唯一
router_id keep_171
}
vrrp_instance VI_1 {
# 表示状态是MASTER主机还是备用机BACKUP
state MASTER
# 该实例绑定的网卡
interface ens33
# 保证主备节点一致即可
virtual_router_id 51
# 权重,master权重一般高于backup,如果有多个,那就是选举,谁的权重高,谁就当选
priority 100
# 主备之间同步检查时间间隔,单位秒
advert_int 2
# 认证权限密码,防止非法节点进入
authentication {
auth_type PASS
auth_pass 1111
}
# 虚拟出来的ip,可以有多个(vip)
virtual_ipaddress {
192.168.1.161
}
}
附:查看网卡信息命令
ip addr
ps -ef|grep keepalived
在网卡ens33下,多了一个192.168.1.161,这个就是虚拟ip
将keepalived目录下etc/init.d/keepalived拷贝到/etc/init.d/下
将keepalived目录下etc/sysconfig/keepalived拷贝到/etc/sysconfig/下
systemctl daemon-reload
#启动
systemctl start keepalived.service
#停止
systemctl stop keepalived.service
#重启
systemctl restart keepalived.service
global_defs {
router_id keep_172
}
vrrp_instance VI_1 {
# 备用机设置为BACKUP
state BACKUP
interface ens33
virtual_router_id 51
# 权重低于MASTER
priority 80
advert_int 2
authentication {
auth_type PASS auth_pass 1111
}
virtual_ipaddress {
# 注意:主备两台的vip都是一样的,绑定到同一个vip
192.168.1.161
}
}
在/etc/keepalived/下创建脚本check_nginx_alive_or_not
#!/bin/bash
A=`ps -C nginx --no-header |wc -l`
# 判断nginx是否宕机,如果宕机了,尝试重启
if [ $A -eq 0 ];then
/usr/local/nginx/sbin/nginx
# 等待一小会再次检查nginx,如果没有启动成功,则停止keepalived,使其启动备用机
sleep 3
if [ `ps -C nginx --no-header |wc -l` -eq 0 ];then
killall keepalived
fi
fi
chmod +x /etc/keepalived/check_nginx_alive_or_not.sh
vrrp_script check_nginx_alive {
script "/etc/keepalived/check_nginx_alive_or_not.sh"
interval 2 # 每隔两秒运行上一行脚本
weight 10 # 如果脚本运行失败,则升级权重+10
}
track_script {
check_nginx_alive # 追踪 nginx 脚本
}
systemctl restart keepalived
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-zCcpzer5-1576568938273)(en-resource://database/2507:1)]
在同一个域名下配置两个ip,自行百度
global_defs {
router_id keep_171
}
vrrp_instance VI_1 {
state MASTER i
nterface ens33
virtual_router_id 51
priority 100
advert_int 1
authentication {
auth_type PASS
auth_pass 1111
}
virtual_ipaddress {
192.168.1.161
}
}
vrrp_instance VI_2 {
state BACKUP
interface ens33
virtual_router_id 52
priority 80
advert_int 1
authentication {
auth_type PASS
auth_pass 1111
}
virtual_ipaddress {
192.168.1.162
}
}
global_defs {
router_id keep_172
}
vrrp_instance VI_1 {
state BACKUP
interface ens33
virtual_router_id 51
priority 80
advert_int 1
authentication {
auth_type PASS
auth_pass 1111
}
virtual_ipaddress {
192.168.1.161
}
}
vrrp_instance VI_2 {
state MASTER
interface ens33
virtual_router_id 52
priority 100
advert_int 1
authentication {
auth_type PASS
auth_pass 1111
}
virtual_ipaddress {
192.168.1.162
}
}
systemctl restart keepalived
先关闭掉服务器上网络配置管理器,避免网络接口冲突
systemctl stop NetworkManager
systemctl disable NetworkManager
进入网卡配置目录/etc/sysconfig/network-scripts/,找到网卡配置文件,这里以ifcfg-ens33为例,拷贝并创建子接口
cp ifcfg-ens33 ifcfg-ens33:1
修改子接口配置如下
DEVICE="ens33:1"
ONBOOT="yes"
IPADDR=192.168.1.150
NETMASK=255.255.255.0
BOOTPROTO=static
重启网络服务
service network restart
重启成功后,ip addr 查看一下,你会发现多了一个ip,也就是虚拟ip(vip)
注意:阿里云不支持配置网卡,需要购买相应的负载均衡服务,腾讯云支持配置网卡,但需要购买网卡支持,一个网卡支持10个虚拟ip配置
如今的centos都集成了LVS,所以ipvs是自带的,我们只需要安装ipvsadm即可(ipvsadm是管理集群的工具,通过ipvs可以管理集群,查看集群等操作)
yum install ipvsadm
进入网卡配置目录/etc/sysconfig/network-scripts/,找到ifcfg-lo,拷贝并创建子接口
cp ifcfg-lo ifcfg-lo:1
修改子接口配置如下
DEVICE="lo:1"
IPADDR=192.168.1.150
NETMASK=255.255.255.255
NETWORK=127.0.0.0
BROADCAST=127.255.255.255
ONBOOT="yes"
NAME=loopback
重启网络服务成功后,ip addr 查看一下,你会发现多了一个ip,也就是虚拟ip(vip)
ARP响应级别与通告行为参数说明
arp-ignore:ARP响应级别(处理请求)
0:只要本机配置了ip,就能响应请求
1:请求的目标地址到达对应的网络接口,才会响应请求
arp-announce:ARP通告行为(返回响应)
0:本机上任何网络接口都向外通告,所有的网卡都能接受到通告
1:尽可能避免本网卡与不匹配的目标进行通告2:只在本网卡通告
打开sysctl.conf:
vim /etc/sysctl.conf
配置所有网卡、默认网卡以及虚拟网卡的arp响应级别和通告行为,分别对应:all,default,lo
# configration for lvs
net.ipv4.conf.all.arp_ignore = 1
net.ipv4.conf.default.arp_ignore = 1
net.ipv4.conf.lo.arp_ignore = 1
net.ipv4.conf.all.arp_announce = 2
net.ipv4.conf.default.arp_announce = 2
net.ipv4.conf.lo.arp_announce = 2
刷新配置文件
sysctl -p
增加一个网关,用于接收数据报文,当有请求到本机后,会交给lo去处理
route add -host 192.168.1.150 dev lo:1
将网关添加至开机启动
echo "route add -host 192.168.1.150 dev lo:1" >> /etc/rc.local
创建LVS节点,用户访问的集群调度者
ipvsadm -A -t 192.168.1.150:80 -s rr -p 5
创建多台RS真实服务器
ipvsadm -a -t 192.168.1.150:80 -r 192.168.1.171:80 -g
ipvsadm -a -t 192.168.1.150:80 -r 192.168.1.172:80 -g
保存到规则库,否则重启失效
ipvsadm -S
检查集群
#查看集群列表
ipvsadm -Ln
#查看集群状态
ipvsadm -Ln --stats
一些其他命令
# 重启ipvsadm,重启后需要重新配置
service ipvsadm restart
# 查看持久化连接
ipvsadm -Ln --persistent-conn
# 查看连接请求过期时间以及请求源ip和目标ip
ipvsadm -Lnc
# 设置tcp tcpfin udp 的过期时间(一般保持默认)
ipvsadm --set 1 1 1
# 查看过期时间
ipvsadm -Ln --timeout
静态:根据LVS本身自由的固定的算法分发用户请求。
动态:会根据流量的不同,或者服务器的压力不同来分配用户请求,这是动态计算的。
如果原先服务器上配置了LVS+nginx需要清空ipvsadm中的配置
ipvsadm -C
如果配置了Keepalived+Nginx双主集群也需要去除掉Keepalived中原先的配置,按照的后文进行配置
在LVS的机器上安装keepalived,安装过程参考上文
global_defs {
router_id keep_151
}
vrrp_instance VI_1 {
state MASTER
interface ens33
virtual_router_id 41
priority 100
advert_int 1
authentication {
auth_type PASS
auth_pass 1111
}
virtual_ipaddress {
192.168.1.150
}
}
#配置集群访问的ip+端口,端口和nginx保持一致
virtual_server 192.168.1.150 80{
#健康检查的时间,单位:秒
delay_loop 6
#配置负载均衡的算法,默认的轮询
lb_algo rr
#设置LVS的模式 NAT|TUN|DR
lb-kind DR
#设置会话持久化的时间
persistence_timeout 5
#协议
protocol TCP
#配置负载均衡的真实服务器,也就是nginx节点的具体的ip地址
real_server 192.168.1.171 80{
#轮询权重配比
weight 1
#设置健康检查
TCP_CHECK {
#检查80端口
connect_port 80
#超时时间
connect_timeout 2
#重试次数
nb_get_retry 2
#重试间隔时间
delay_before_retry 3
}
}
real_server 192.168.1.171 80{
weight 1
TCP_CHECK {
connect_port 80
connect_timeout 2
nb_get_retry 2
delay_before_retry 3
}
}
}
systemctl restart keepalived
配置在备用机上
global_defs {
router_id keep_152
}
vrrp_instance VI_1 {
state BACKUP
interface ens33
virtual_router_id 41
priority 50
advert_int 1
authentication {
auth_type PASS
auth_pass 1111
}
virtual_ipaddress {
192.168.1.150
}
}
#配置集群访问的ip+端口,端口和nginx保持一致
virtual_server 192.168.1.150 80{
#健康检查的时间,单位:秒
delay_loop 6
#配置负载均衡的算法,默认的轮询
lb_algo rr
#设置LVS的模式 NAT|TUN|DR
lb-kind DR
#设置会话持久化的时间
persistence_timeout 5
#协议
protocol TCP
#配置负载均衡的真实服务器,也就是nginx节点的具体的ip地址
real_server 192.168.1.171 80{
#轮询权重配比
weight 1
#设置健康检查
TCP_CHECK {
#检查80端口
connect_port 80
#超时时间
connect_timeout 2
#重试次数
nb_get_retry 2
#重试间隔时间
delay_before_retry 3
}
}
real_server 192.168.1.171 80{
weight 1
TCP_CHECK {
connect_port 80
connect_timeout 2
nb_get_retry 2
delay_before_retry 3
}
}
}