haproxy+keepalived+nginx(源码)
软件介绍
HAProxy提供高可用性、负载均衡以及基于TCP和HTTP应用的代理，支持虚拟主机，它是免费、快速并且可靠的一种解决方案，适用于那些负载特大的web站点，这些站点通常又需要会话保持或七层处理。HAProxy运行在当前的硬件上，完全可以支持数以万计的并发连接。并且它的运行模式使得它可以很简单安全的整合进您当前的架构中，同时可以保护你的web服务器不被暴露到网络上。
keepalived可提供vrrp以及health-check功能，可以只用它提供双机浮动的vip（vrrp虚拟路由功能），这样可以简单实现一个双机热备高可用功能，类似于layer3, 4 & 5交换机制的软件，也就是我们平时说的第3层、第4层和第5层交换，作 用是检测web服务器的状态，如果有一台web服务器死机，或工作出现故障，Keepalived将检测到，并将有故障的web服务器从系统中剔除，当 web服务器工作正常后Keepalived自动将web服务器加入到服务器群中，这些工作全部自动完成，不需要人工干涉，需要人工做的只是修复故障的 web服务器
实验环境
keepalived+Haproxy 192.168.40.144
keepalived+Haproxy 192.168.40.135
vip: 192.168.40.100
web01: 192.168.40.144:80
web02: 192.168.40.135:80
操作
1.安装Keepalived
[root@server01 ~]# cd /usr/local/src/;wget http://www.keepalived.org/software/keepalived-1.2.15.tar.gz
[root@server01 src]# tar zxvf keepalived-1.2.15.tar.gz
[root@server01 keepalived-1.2.15]# ./configure --prefix=/usr/local/keepalived-1.2.15
.....
configure: error:
!!! OpenSSL is not properly installed on your system. !!!
!!! Can not include OpenSSL headers files. !!!
[root@server01 keepalived-1.2.15]# yum -y install openssl-devel
[root@server01 keepalived-1.2.15]# ./configure --prefix=/usr/local/keepalived-1.2.15
....编译安装成功
Keepalived configuration
------------------------
Keepalived version : 1.2.15
Compiler : gcc
Compiler flags : -g -O2
Extra Lib : -lssl -lcrypto -lcrypt
Use IPVS Framework : Yes
IPVS sync daemon support : Yes
IPVS use libnl : No
fwmark socket support : Yes
Use VRRP Framework : Yes
Use VRRP VMAC : Yes
SNMP support : No
SHA1 support : No
Use Debug flags : No
[root@server01 keepalived-1.2.15]# make && make install
[root@server01 ~]# cp /usr/local/keepalived-1.2.15/etc/rc.d/init.d/keepalived /etc/init.d/keepalived
[root@server01 ~]# cp /usr/local/keepalived-1.2.15/sbin/keepalived /usr/sbin/
[root@server01 ~]# cp /usr/local/keepalived-1.2.15/etc/sysconfig/keepalived /etc/sysconfig/
[root@server01 ~]# mkdir -v /etc/keepalived
mkdir: created directory `/etc/keepalived'
[root@server01 ~]# cp /usr/local/keepalived-1.2.15/etc/keepalived/keepalived.conf /etc/keepalived/
[root@server01 ~]# chmod a+x /etc/init.d/keepalived
[root@server01 ~]# chkconfig --add /etc/init.d/keepalived
[root@server01 ~]# cat /etc/keepalived/keepalived.conf
! Configuration File for keepalived
global_defs {
notification_email {
[email protected]
}
notification_email_from [email protected]
smtp_server 192.168.40.144
smtp_connect_timeout 30
router_id HAPROXY_MASTER
}
vrrp_script chk_haproxy {
script "/usr/local/keepalived-1.2.15/check_haproxy.sh"
interval 2
weight 2
}
vrrp_instance VI_1 {
state MASTER
interface eth0
virtual_router_id 51
priority 101
advert_int 1
authentication {
auth_type PASS
auth_pass 1111
}
track_script {
chk_haproxy
}
virtual_ipaddress {
192.168.40.100
}
}
检测脚本
#!/bin/bash if [ $(ps -C haproxy --no-header | wc -l) -eq 0 ]; then /etc/init.d/haproxy start echo "haproxy start" fi sleep 2 if [ $(ps -C haproxy --no-header | wc -l) -eq 0 ]; then /etc/init.d/keepalived stop echo "keepalived stop" fi
2.安装Haproxy
[root@centos-node1 src]wget http://haproxy.1wt.eu/download/1.4/src/haproxy-1.4.24.tar.gz [root@server01 src]# tar zxvf haproxy-1.4.24.tar.gz [root@server01 haproxy-1.4.24]# make TARGET=linux26 ARCH=x84_64 PREFIX=/usr/local/haproxy-1.4.24 [root@server01 haproxy-1.4.24]# make install PREFIX=/usr/local/haproxy-1.4.24 [root@server01 haproxy-1.4.24]# mkdir /etc/haproxy [root@server01 haproxy-1.4.24]# cp examples/haproxy.cfg /etc/haproxy/ [root@server01 haproxy-1.4.24]# cp examples/haproxy.init /etc/init.d/haproxy [root@server01 haproxy-1.4.24]# ln -svf /usr/local/haproxy-1.4.24/sbin/haproxy /usr/sbin/haproxy `/usr/sbin/haproxy' -> `/usr/local/haproxy-1.4.24/sbin/haproxy' [root@server01 haproxy-1.4.24]# chmod a+x /etc/init.d/haproxy [root@server01 haproxy-1.4.24]# chkconfig --add haproxy [root@server01 haproxy-1.4.24]# chkconfig haproxy on [root@server01 haproxy-1.4.24]# chkconfig --list haproxy haproxy 0:off 1:off 2:on 3:on 4:on 5:on 6:off [root@server01 haproxy]# cat haproxy.cfg # this config needs haproxy-1.1.28 or haproxy-1.2.1 global log 127.0.0.1 local2 #log loghost local0 info maxconn 4096 chroot /usr/local/haproxy-1.4.24 uid 99 gid 99 #user haproxy #group haproxy daemon #debug #quiet nbproc 1 pidfile /usr/local/haproxy-1.4.24/haproxy.pid defaults log global mode http option httplog option dontlognull option redispatch option forwardfor retries 3 maxconn 2000 contimeout 5000 clitimeout 50000 srvtimeout 50000 listen stats stats enable mode http bind 192.168.40.144:80 stats uri /haproxy-status stats auth haproxy:123.com stats hide-version stats realm no\ entrance frontend web bind *:80 mode http option httplog log global default_backend web_nginx backend web_nginx option forwardfor header wm-client-ip #设置wm-client-ip变量http头将客户端IP传递到nginx中 balance roundrobin server web-node1 192.168.40.144:8888 check inter 3000 rise 5 fall 5 server web-node2 192.168.40.135:8888 check inter 3000 rise 5 fall 5
登陆状态页面
状态信息
Haproxy配置文件说明
来源http://www.linuxidc.com/Linux/2012-07/65350.htm
####################全局配置信息######################## #######参数是进程级的，通常和操作系统（OS）相关######### global maxconn 20480 #默认最大连接数 log 127.0.0.1 local3 #[err warning info debug] chroot /var/haproxy #chroot运行的路径 uid 99 #所属运行的用户uid gid 99 #所属运行的用户组 daemon #以后台形式运行haproxy nbproc 1 #进程数量(可以设置多个进程提高性能) pidfile /var/run/haproxy.pid #haproxy的pid存放路径,启动进程的用户必须有权限访问此文件 ulimit-n 65535 #ulimit的数量限制 #####################默认的全局设置###################### ##这些参数可以被利用配置到frontend，backend，listen组件## defaults log global mode http #所处理的类别 (#7层 http;4层tcp ) maxconn 20480 #最大连接数 option httplog #日志类别http日志格式 option httpclose #每次请求完毕后主动关闭http通道 option dontlognull #不记录健康检查的日志信息 option forwardfor #如果后端服务器需要获得客户端真实ip需要配置的参数，可以从Http Header中获得客户端ip option redispatch #serverId对应的服务器挂掉后,强制定向到其他健康的服务器 option abortonclose #当服务器负载很高的时候，自动结束掉当前队列处理比较久的连接 stats refresh 30 #统计页面刷新间隔 retries 3 #3次连接失败就认为服务不可用，也可以通过后面设置 balance roundrobin #默认的负载均衡的方式,轮询方式 #balance source #默认的负载均衡的方式,类似nginx的ip_hash #balance leastconn #默认的负载均衡的方式,最小连接 contimeout 5000 #连接超时 clitimeout 50000 #客户端超时 srvtimeout 50000 #服务器超时 timeout check 2000 #心跳检测超时 ####################监控页面的设置####################### listen admin_status #Frontend和Backend的组合体,监控组的名称，按需自定义名称 bind 0.0.0.0:65532 #监听端口 mode http #http的7层模式 log 127.0.0.1 local3 err #错误日志记录 stats refresh 5s #每隔5秒自动刷新监控页面 stats uri /admin?stats #监控页面的url stats realm itnihao\ itnihao #监控页面的提示信息 stats auth admin:admin #监控页面的用户和密码admin,可以设置多个用户名 stats auth admin1:admin1 #监控页面的用户和密码admin1 stats hide-version #隐藏统计页面上的HAproxy版本信息 stats admin if TRUE #手工启用/禁用,后端服务器(haproxy-1.4.9以后版本) errorfile 403 /etc/haproxy/errorfiles/403.http errorfile 500 /etc/haproxy/errorfiles/500.http errorfile 502 /etc/haproxy/errorfiles/502.http errorfile 503 /etc/haproxy/errorfiles/503.http errorfile 504 /etc/haproxy/errorfiles/504.http #################HAProxy的日志记录内容设置################### capture request header Host len 40 capture request header Content-Length len 10 capture request header Referer len 200 capture response header Server len 40 capture response header Content-Length len 10 capture response header Cache-Control len 8 #######################网站监测listen配置##################### ###########此用法主要是监控haproxy后端服务器的监控状态############ listen site_status bind 0.0.0.0:1081 #监听端口 mode http #http的7层模式 log 127.0.0.1 local3 err #[err warning info debug] monitor-uri /site_status #网站健康检测URL，用来检测HAProxy管理的网站是否可以用，正常返回200，不正常返回503 acl site_dead nbsrv(server_web) lt 2 #定义网站down时的策略当挂在负载均衡上的指定backend的中有效机器数小于1台时返回true acl site_dead nbsrv(server_blog) lt 2 acl site_dead nbsrv(server_bbs) lt 2 monitor fail if site_dead #当满足策略的时候返回503，网上文档说的是500，实际测试为503 monitor-net 192.168.16.2/32 #来自192.168.16.2的日志信息不会被记录和转发 monitor-net 192.168.16.3/32 ########frontend配置############ #####注意，frontend配置里面可以定义多个acl进行匹配操作######## frontend http_80_in bind 0.0.0.0:80 #监听端口，即haproxy提供web服务的端口，和lvs的vip端口类似 mode http #http的7层模式 log global #应用全局的日志配置 option httplog #启用http的log option httpclose #每次请求完毕后主动关闭http通道，HA-Proxy不支持keep-alive模式 option forwardfor #如果后端服务器需要获得客户端的真实IP需要配置次参数，将可以从Http Header中获得客户端IP ########acl策略配置############# acl itnihao_web hdr_reg(host) -i ^(www.itnihao.cn|ww1.itnihao.cn)$ #如果请求的域名满足正则表达式中的2个域名返回true -i是忽略大小写 acl itnihao_blog hdr_dom(host) -i blog.itnihao.cn #如果请求的域名满足www.itnihao.cn返回true -i是忽略大小写 #acl itnihao hdr(host) -i itnihao.cn #如果请求的域名满足itnihao.cn返回true -i是忽略大小写 #acl file_req url_sub -i killall= #在请求url中包含killall=，则此控制策略返回true,否则为false #acl dir_req url_dir -i allow #在请求url中存在allow作为部分地址路径，则此控制策略返回true,否则返回false #acl missing_cl hdr_cnt(Content-length) eq 0 #当请求的header中Content-length等于0时返回true ########acl策略匹配相应############# #block if missing_cl #当请求中header中Content-length等于0阻止请求返回403 #block if !file_req || dir_req #block表示阻止请求，返回403错误，当前表示如果不满足策略file_req，或者满足策略dir_req，则阻止请求 use_backend server_web if itnihao_web #当满足itnihao_web的策略时使用server_web的backend use_backend server_blog if itnihao_blog #当满足itnihao_blog的策略时使用server_blog的backend #redirect prefix http://blog.itniaho.cn code 301 if itnihao #当访问itnihao.cn的时候，用http的301挑转到http://192.168.16.3 default_backend server_bbs #以上都不满足的时候使用默认server_bbs的backend ##########backend的设置############## #下面我将设置三组服务器 server_web，server_blog，server_bbs ##################backend server_web#################### backend server_web mode http #http的7层模式 balance roundrobin #负载均衡的方式，roundrobin平均方式 cookie SERVERID #允许插入serverid到cookie中，serverid后面可以定义 option httpchk GET /index.html #心跳检测的文件 server web1 192.168.16.2:80 cookie web1 check inter 1500 rise 3 fall 3 weight 1 #服务器定义，cookie 1表示serverid为web1，check inter 1500是检测心跳频率rise 3是3次正确认为服务器可用， #fall 3是3次失败认为服务器不可用，weight代表权重 server web2 192.168.16.3:80 cookie web2 check inter 1500 rise 3 fall 3 weight 2 #服务器定义，cookie 1表示serverid为web2，check inter 1500是检测心跳频率rise 3是3次正确认为服务器可用， #fall 3是3次失败认为服务器不可用，weight代表权重 ###################backend server_blog###################### backend server_blog mode http #http的7层模式 balance roundrobin #负载均衡的方式，roundrobin平均方式 cookie SERVERID #允许插入serverid到cookie中，serverid后面可以定义 option httpchk GET /index.html #心跳检测的文件 server blog1 192.168.16.2:80 cookie blog1 check inter 1500 rise 3 fall 3 weight 1 #服务器定义，cookie 1表示serverid为blog1，check inter 1500是检测心跳频率rise 3是3次正确认为服务器可用，fall 3是3次失败认为服务器不可用，weight代表权重 server blog2 192.168.16.3:80 cookie blog2 check inter 1500 rise 3 fall 3 weight 2 #服务器定义，cookie 1表示serverid为blog2，check inter 1500是检测心跳频率rise 3是3次正确认为服务器可用，fall 3是3次失败认为服务器不可用，weight代表权重 ##################backend server_bbs######################## backend server_bbs mode http #http的7层模式 balance roundrobin #负载均衡的方式，roundrobin平均方式 cookie SERVERID #允许插入serverid到cookie中，serverid后面可以定义 option httpchk GET /index.html #心跳检测的文件 server bbs1 192.168.16.2:80 cookie bbs1 check inter 1500 rise 3 fall 3 weight 1 #服务器定义，cookie 1表示serverid为bbs1，check inter 1500是检测心跳频率rise 3是3次正确认为服务器可用，fall 3是3次失败认为服务器不可用，weight代表权重 server bbs2 192.168.16.3:80 cookie bbs2 check inter 1500 rise 3 fall 3 weight 2 #服务器定义，cookie 1表示serverid为bbs2，check inter 1500是检测心跳频率rise 3是3次正确认为服务器可用，fall 3是3次失败认为服务器不可用，weight代表权重
3.修改本地日志格式
# yum install rsyslog [root@server01 ~]# grep -v ^\# /etc/rsyslog.conf|sed '/^$/d' $ModLoad imuxsock # provides support for local system logging (e.g. via logger command) $ModLoad imklog # provides kernel logging support (previously done by rklogd) $ModLoad imudp $UDPServerRun 514 $ActionFileDefaultTemplate RSYSLOG_TraditionalFileFormat $IncludeConfig /etc/rsyslog.d/*.conf *.info;mail.none;authpriv.none;cron.none;local2.none /var/log/messages authpriv.* /var/log/secure mail.* -/var/log/maillog cron.* /var/log/cron *.emerg * uucp,news.crit /var/log/spooler local7.* /var/log/boot.log local2.* /var/log/haproxy.log [root@server01 ~]# /etc/init.d/rsyslog restart Shutting down system logger: [ OK ] Starting system logger: [ OK ]
4.安装nginx
[root@server01 src]# yum -y install zlib zlib-devel openssl openssl-devel pcre-devel gcc gcc-c++
[root@server01 src]# wget http://softlayer-sng.dl.sourceforge.net/project/pcre/pcre/8.36/pcre-8.36.tar.gz
[root@server01 src]# tar zxvf pcre-8.36.tar.gz
[root@server01 pcre-8.36]# ./configure && make && make install
[root@server01 pcre-8.36]# useradd -s /sbin/nologin nginx
[root@server01 src]# wget
[root@server01 src]# tar zxvf nginx-1.6.2.tar.gz
[root@server01 nginx-1.6.2]# ./configure --prefix=/usr/local/nginx-1.6.2 --user=nginx --group=nginx
--with-http_stub_status_module --with-http_sub_module --with-http_ssl_module --with-pcre=/usr/local/src/pcre-8.36
--with-http_gzip_static_module
[root@server02 conf]# cat /usr/local/nginx-1.6.2/conf/nginx.conf
#user nobody;
worker_processes 1;
events {
worker_connections 1024;
}
http {
include mime.types;
default_type application/octet-stream;
sendfile on;
keepalive_timeout 65;
log_format subuy '$remote_addr $http_wm_client_ip [$time_local] "$request" '
'$status $body_bytes_sent $request_time "$http_referer" '
'"$http_user_agent"';
server {
listen 8888;
server_name www.server02.com;
#charset koi8-r;
access_log logs/host.access.log subuy;
error_log logs/error.log info;
location / {
root html;
index index.html index.htm;
}
#error_page 404 /404.html;
# redirect server error pages to the static page /50x.html
error_page 500 502 503 504 /50x.html;
location = /50x.html {
root html;
}
}
}
查看nginx访问日志
192.168.40.144 192.168.40.1 [19/Mar/2015:03:14:23 -0700] "GET / HTTP/1.1" 200 643 0.000 "-" "Mozilla/5.0 (Windows NT 6.1; WOW64; rv:35.0) Gecko/20100101 Firefox/35.0" 192.168.40.144 192.168.40.1 [19/Mar/2015:03:14:23 -0700] "GET / HTTP/1.1" 200 643 0.000 "-" "Mozilla/5.0 (Windows NT 6.1; WOW64; rv:35.0) Gecko/20100101 Firefox/35.0" 192.168.40.144 192.168.40.1 [19/Mar/2015:03:14:23 -0700] "GET / HTTP/1.1" 200 643 0.000 "-" "Mozilla/5.0 (Windows NT 6.1; WOW64; rv:35.0) Gecko/20100101 Firefox/35.0" 192.168.40.144 192.168.40.1 [19/Mar/2015:03:14:23 -0700] "GET / HTTP/1.1" 200 643 0.000 "-" "Mozilla/5.0 (Windows NT 6.1; WOW64; rv:35.0) Gecko/20100101 Firefox/35.0" 192.168.40.144 192.168.40.1 [19/Mar/2015:03:14:24 -0700] "GET / HTTP/1.1" 200 643 0.000 "-" "Mozilla/5.0 (Windows NT 6.1; WOW64; rv:35.0) Gecko/20100101 Firefox/35.0"
http://pynliu.blog.51cto.com/5027391/1619400
http://bbotte.blog.51cto.com/6205307/1606877
http://siriusz.blog.51cto.com/8150455/1368188