构建Nginx+heartbeat高可用web站点

一、准备实验环境

二、安装nginx服务器（nginx1，nginx2）

三、安装FastCgi服务器

四、安装http服务器（用于静态服务器）

五、测试nginx是否实现负载均衡以及动静分离

六、配置Nginx的高可用服务

一、准备实验环境

1、IP地址规划

VIP： 172.16.10.8

nginx1:172.16.10.1

nginx2:172.16.10.2

php1:172.16.10.3

php2:172.16.10.4

web:172.16.10.6

2、网络拓扑图

3、服务器配置

nginx1服务器

sed -i 's@\(HOSTNAME=\).*@\1nginx1.xiaodong.com@g'  /etc/sysconfig/network
echo "172.16.10.2 nginx1.xiaodong.com nginx2" >> /etc/hosts
ssh-keygen -t rsa
ssh-copy-id .ssh/id_rsa.pub ngix2

nginx2服务器

sed -i 's@\(HOSTNAME=\).*@\1nginx2.xiaodong.com@g'  /etc/sysconfig/network
echo "172.16.10.1 nginx1.xiaodong.com nginx1" >> /etc/hosts
ssh-keygen -t rsa
ssh-copy-id .ssh/id_rsa.pub ngix2

二、安装nginx服务器（nginx1，nginx2）

[root@nginx1 ~]# tar xf nginx-1.4.2.tar.gz -C /usr/local/
[root@nginx1 ~]# cd /usr/local/
[root@nginx1 local]# groupadd -r nginx
[root@nginx1 local]# useradd -r -g nginx nginx
[root@nginx1 nginx-1.4.2]# cd nginx-1.4.2/
[root@nginx1 nginx-1.4.2]# ./configure \
   --prefix=/usr \
   --sbin-path=/usr/sbin/nginx \
   --conf-path=/etc/nginx/nginx.conf \
   --error-log-path=/var/log/nginx/error.log \
   --http-log-path=/var/log/nginx/access.log \
   --pid-path=/var/run/nginx/nginx.pid  \
   --lock-path=/var/lock/nginx.lock \
   --user=nginx \
   --group=nginx \
   --with-http_ssl_module \
   --with-http_flv_module \
   --with-http_stub_status_module \
   --with-http_gzip_static_module \
   --http-client-body-temp-path=/var/tmp/nginx/client/ \
   --http-proxy-temp-path=/var/tmp/nginx/proxy/ \
   --http-fastcgi-temp-path=/var/tmp/nginx/fcgi/ \
   --http-uwsgi-temp-path=/var/tmp/nginx/uwsgi \
   --http-scgi-temp-path=/var/tmp/nginx/scgi \
   --with-pcre
[root@nginx1 nginx-1.4.2]# make && make install
[root@nginx1 nginx-1.4.2]# vim /etc/init.d/nginx
#!/bin/sh
#
# nginx - this script starts and stops the nginx daemon
#
# chkconfig:   - 85 15
# description:  Nginx is an HTTP(S) server, HTTP(S) reverse \
#               proxy and IMAP/POP3 proxy server
# processname: nginx
# config:      /etc/nginx/nginx.conf
# config:      /etc/sysconfig/nginx
# pidfile:     /var/run/nginx.pid
        
# Source function library.
. /etc/rc.d/init.d/functions
        
# Source networking configuration.
. /etc/sysconfig/network
        
# Check that networking is up.
[ "$NETWORKING" = "no" ] && exit 0
        
nginx="/usr/sbin/nginx"
prog=$(basename $nginx)
        
NGINX_CONF_FILE="/etc/nginx/nginx.conf"
        
[ -f /etc/sysconfig/nginx ] && . /etc/sysconfig/nginx
        
lockfile=/var/lock/subsys/nginx
        
make_dirs() {
   # make required directories
   user=`nginx -V 2>&1 | grep "configure arguments:" | sed 's/[^*]*--user=\([^ ]*\).*/\1/g' -`
   options=`$nginx -V 2>&1 | grep 'configure arguments:'`
   for opt in $options; do
       if [ `echo $opt | grep '.*-temp-path'` ]; then
           value=`echo $opt | cut -d "=" -f 2`
           if [ ! -d "$value" ]; then
               # echo "creating" $value
               mkdir -p $value && chown -R $user $value
           fi
       fi
   done
}
        
start() {
    [ -x $nginx ] || exit 5
    [ -f $NGINX_CONF_FILE ] || exit 6
    make_dirs
    echo -n $"Starting $prog: "
    daemon $nginx -c $NGINX_CONF_FILE
    retval=$?
    echo
    [ $retval -eq 0 ] && touch $lockfile
    return $retval
}
        
stop() {
    echo -n $"Stopping $prog: "
    killproc $prog -QUIT
    retval=$?
    echo
    [ $retval -eq 0 ] && rm -f $lockfile
    return $retval
}
        
restart() {
    configtest || return $?
    stop
    sleep 1
    start
}
        
reload() {
    configtest || return $?
    echo -n $"Reloading $prog: "
    killproc $nginx -HUP
    RETVAL=$?
    echo
}
        
force_reload() {
    restart
}
        
configtest() {
  $nginx -t -c $NGINX_CONF_FILE
}
        
rh_status() {
    status $prog
}
        
rh_status_q() {
    rh_status >/dev/null 2>&1
}
        
case "$1" in
    start)
        rh_status_q && exit 0
        $1
        ;;
    stop)
        rh_status_q || exit 0
        $1
        ;;
    restart|configtest)
        $1
        ;;
    reload)
        rh_status_q || exit 7
        $1
        ;;
    force-reload)
        force_reload
        ;;
    status)
        rh_status
        ;;
    condrestart|try-restart)
        rh_status_q || exit 0
            ;;
    *)
        echo $"Usage: $0 {start|stop|status|restart|condrestart|try-restart|reload|force-reload|configtest}"
        exit 2
esac
[root@nginx1 nginx-1.4.2]# chmod +x /etc/init.d/nginx
[root@nginx1 nginx-1.4.2]# service nginx start

注意：在安装的过程中可能会缺少一些包，但是不必担心，只要使用yum install 就可用解决问题喽

1、nginx支持php的配置（nginx1，nginx2）

[root@nginx1 ~]# vim /etc/nginx/fastcgi_params
fastcgi_param  GATEWAY_INTERFACE  CGI/1.1;
fastcgi_param  SERVER_SOFTWARE    nginx;
fastcgi_param  QUERY_STRING       $query_string;
fastcgi_param  REQUEST_METHOD     $request_method;
fastcgi_param  CONTENT_TYPE       $content_type;
fastcgi_param  CONTENT_LENGTH     $content_length;
fastcgi_param  SCRIPT_FILENAME    $document_root$fastcgi_script_name;
fastcgi_param  SCRIPT_NAME        $fastcgi_script_name;
fastcgi_param  REQUEST_URI        $request_uri;
fastcgi_param  DOCUMENT_URI       $document_uri;
fastcgi_param  DOCUMENT_ROOT      $document_root;
fastcgi_param  SERVER_PROTOCOL    $server_protocol;
fastcgi_param  REMOTE_ADDR        $remote_addr;
fastcgi_param  REMOTE_PORT        $remote_port;
fastcgi_param  SERVER_ADDR        $server_addr;
fastcgi_param  SERVER_PORT        $server_port;
fastcgi_param  SERVER_NAME        $server_name;
~

2、修改nginx配置文件（nginx1，nginx2），实现动静分离并记录访问者的IP

orker_processes  2;
events {
    worker_connections  1024;
}
http {
    include       mime.types;
    default_type  application/octet-stream;
 proxy_cache_path  /data/cache  levels=1:2    keys_zone=STATIC:10m inactive=24h  max_size=1g;
    client_max_body_size 20m;
    client_header_buffer_size 16k;
    large_client_header_buffers 4 16k;
    tcp_nopush     on;
    gzip  on;
    gzip_min_length 1k;
    gzip_buffers 4 16k;
    gzip_proxied   any;
    gzip_http_version 1.1;
    gzip_comp_level 3;
    gzip_types text/plain application/x-javascript text/css application/xml;
    gzip_vary on;
    proxy_temp_path   /tmp/proxy_temp;
    proxy_cache_path  /tmp/proxy_cache levels=1:2 keys_zone=cache_one:500m inactive=1d max_size=3g;
    proxy_connect_timeout    50;
    proxy_read_timeout       600;
    proxy_send_timeout       600;
    proxy_buffer_size        128k;
    proxy_buffers           16 256k;
    proxy_busy_buffers_size 512k;
    proxy_temp_file_write_size 1024m;
    proxy_next_upstream error timeout invalid_header http_500 http_503 http_404 http_502 http_504;
     upstream  web {
                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                           
        server 172.16.10.3:9000   max_fails=3 fail_timeout=30s;
        server 172.16.10.4:9000    max_fails=3 fail_timeout=30s;
        server 172.16.10.1:80 backup;
     }
    server {
        listen       80;
        server_name  localhost;
        location / {
            root   html;
            index  index.html index.htm;
       }
        error_page   500 502 503 504  /50x.html;
        location = /50x.html {
            root   html;
        }
        location ~ \.php$ {
            root           /web/htdoc;
            fastcgi_pass   web;
            fastcgi_index  index.php;
            fastcgi_param  SCRIPT_FILENAME  /scripts$fastcgi_script_name;
            include        fastcgi_params;
            proxy_set_header X-Real-IP $remote_addr;
       }
                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                             
         location ~ \.(html|htm|gif|jpg|jpeg|bmp|png|ico|txt|js|css)$ {
             proxy_pass http://172.16.10.6;
            proxy_set_header X-Real-IP $remote_addr;
                proxy_cache            STATIC;
            proxy_cache_valid      200  1d;
            proxy_cache_valid      301 302 10m;
           # proxy_cache_vaild     any 1m;
            proxy_cache_use_stale  error timeout invalid_header updating
                                   http_500 http_502 http_503 http_504;
    }
    }
}

注释：

第10行-18行 ：开启代理缓存功能

第19行-26行： 开启压缩功能

第44行-51行： 转发动态网页

第50 行： 修改头部信息，使得后端web服务器可以看到访问端的地址

第53行―56行： 转发静态网页

三、安装FastCgi服务器

1、php1与php2服务器

[root@php1 ~]#yum install gcc libxml2-devel openssl-devel bzip2-devel libmcrypt-devel  -y
[root@php1 ~]# tar xf php-5.4.19.tar.bz2
[root@php1 ~]# cd php-5.4.19
[root@php1 php-5.4.19]# ./configure --prefix=/usr/local/httpd/php --with-mysql=mysqlnd --with-openssl --with-mysqli=mysqlnd --enable-mbstring --with-freetype-dir --with-jpeg-dir --with-png-dir --with-zlib --with-libxml-dir=/usr --enable-xml  --enable-sockets --enable-fpm --with-mcrypt  --with-config-file-path=/etc --with-config-file-scan-dir=/etc/php.d --with-bz2
[root@php1 php-5.4.19]# make && make install

2、为php提供配置文件 （php1与php2）

[root@php1 php-5.4.19]# cp /usr/local/httpd/php/etc/php-fpm.conf.default/usr/local/httpd/php/etc/php-fpm.conf

[root@php1 php-5.4.19]# cp php.ini-production /etc/php.ini

3、为php-fpm提供Sysv init脚本，并将其添加至服务列表（php1与php2）

[root@php1 php-5.4.19]# cp sapi/fpm/init.d.php-fpm /etc/rc.d/init.d/php-fpm[root@php1 php-5.4.19]# chmod +x /etc/rc.d/init.d/php-fpm
[root@php1 php-5.4.19]# chkconfig --add php-fpm
[root@php1 php-5.4.19]# chkconfig php-fpm on

4、修改配置文件（php1与php2）

[root@php1 ~]# vim /usr/local/httpd/php/etc/php-fpm.conf
listen = 172.16.10.3:9000

5、启动服务（php1与php2）

root@php1 php-5.4.19]# service php-fpm start

6、创建php网址目录（php1）

[root@php1 ~]# mkdir -pv /web/htdoc/
[root@php1 ~]# vim /web/htdoc/index.php
<h1> php1 </h1>
<?php
phpinfo();
?>

7、创建php网址目录（php2）

[root@php2 ~]# mkdir -pv /web/htdoc/
[root@php2 ~]# vim /web/htdoc/index.php
<h1> php2 </h1>
<?php
phpinfo();
?>

四、安装http服务器（用于静态服务器）

[root@http ~]# yum install httpd -y
[root@http ~]#echo "<h1>stati html 172.16.10.6 </h1>" > >/var/www/html/index.html
[root@http ~]#service httpd start

五、测试nginx是否实现负载均衡以及动静分离

1、访问动态页面测试

2、访问静态页面测试

此时虽然实现了Nginx的负载均衡以后动静分离，但是无法保证nginx服务器的高可用，下面配置nginx的高可用

六、配置Nginx的高可用服务

1、安装heartbeat（nginx1，nginx2）

[root@nginx1 ~]# yum install heartbeat -y

2、复制模块文件

[root@nginx1 ha.d]# cd /usr/share/doc/heartbeat-3.0.4/
[root@nginx1 heartbeat-3.0.4]# cp authkeys ha.cf haresources  /etc/ha.d/

注释：

authkeys #是节点之间的认证key文件

ha.cf #heartbeat的主配置文件

haresources #集群资源管理配置文件

3、修改authkeys配置文件

[root@nginx1 ha.d]# openssl rand -hex 8>> /etc/ha.d/authkeys  生成随机数
[root@nginx1 ha.d]# vim authkeys
auth 2
#1crc
#2sha1 HI!
#3md5 Hello!
2sha1 07cc87ff210e92e0

4、修改权限

[root@nginx1 ha.d]# chmod 600authkeys

5、修改主配置文件

[root@nginx1 ha.d]# vim ha.cf
logfile /var/log/ha-log
keepalive 2
deadtime 30
warntime 10
ucast eth0 172.16.10.2#指向nginx2的IP
node nginx1.xiaodong.com
node nginx2.xiaodong.com

6、修改资源配置文件

[root@nginx1 ~]# vim /etc/ha.d/haresources
ngnix1.xiaodong.com    172.16.10.8/16/eth0   nginx

注意：此处说明,nginx1为主节点

7、复制配置文件到nginx2

[root@nginx1 ~]# cd /etc/ha.d/
[root@nginx1 ha.d]# scp -p authkeys  haresources ha.cf nginx2:/etc/ha.d/

8、启动heartbeat服务

[root@nginx1 ~]# service heartbeat start
[root@nginx2 ~]# service heartbeat start

9、测试heartbeat与nginx是否结合

查看nginx1的启动日志

10、停止nginx1服务

[root@nginx1 ~]# service heartbeat stop

当nginx1停掉之后，查看nginx2日志信息

以上信息反馈出来了，当nginx1 down掉之后，nginx2立刻检测到，并启动nginx服务，保证了nginx的高可用性。

本博客自此结束，望广大博友多多指教！！！