Nginx+Memcached+Tomcat集群配置

本次主要是在win7 64 上演示操作。

web应用构建

简单构造web应用，这里就不做描述了，具体的可以访问我的Github。
为了方便显示，在success.jsp上做区别，一个加上8080，一个加上8081。

Memcached安装、配置、启动

本次示例使用了2个memcached节点，都在一台机子上。

win7 64上的操作。资源可以在这个链接上下载我是链接。
解压后进入cmd进入此目录，记住一定要用已管理员身份运行。

安装

memcached  -d install

运行

memcached -d start

也可以启动多个memcached服务，可以参考这个链接。

创建

sc create "Memcached Server" start= auto binPath= "memcached_path -d runservice -m 32 -p 11311 -l 127.0.0.1" DisplayName= "Memcached Server"

注意修改端口，默认是11211
可以通过Telnet访问：telnet 127.0.0.1 11211
telnet界面 quit可以退出

启动、停止、卸载Memcached Server的命令：

sc start "Memcached Server"  //启动
sc stop "Memcached Server"  //停止
sc delete "Memcached Server"  //卸载该服务

可以在任务管理器上看到memcached服务

Tomcat配置

本次以2个tomcat7.0.62示例

Tomcat 集群配置，集群中各个结点通过共享存储在缓存Memcached中session来实现session的共享：如果有一台机器上的Tomcat服务停掉了，对于其他对等服务器上的session数据仍然可以从Memcached缓存中读取，从而不会发生session丢失的问题。

使用memcached-session-manager，官方文档。

tomcat的配置主要包括两个方面，首先需要下载所需要的包，放到tomcat安装目录下的lib目录下（严格来说应该是$CATALINA_HOME/lib/）
第一个msm所需要的jar，序列化所需要的jar，
第二个配置context.xml

所需jar包

memcached-session-manager

tomcat 7对应的maven配置
需要如下3个jar包；
memcached-session-manager-version.jar，
memcached-session-manager-tc7-version.jar，
spymemcached-version.jar

可以在下面maven中下载

<dependency>
    <groupId>de.javakaffee.msm</groupId>
    <artifactId>memcached-session-manager-tc7</artifactId>
    <version>1.8.3</version>
</dependency>

序列化

4种序列化

kryo-serializer：
<dependency>  
    <groupId>de.javakaffee.msm</groupId>  
    <artifactId>msm-kryo-serializer</artifactId>  
    <version>version</version>  
</dependency> 
javolution:
<dependency>  
    <groupId>de.javakaffee.msm</groupId>  
    <artifactId>msm-javolution-serializer</artifactId>  
    <version>version</version>  
</dependency> 
xstream:
<dependency>  
    <groupId>de.javakaffee.msm</groupId>  
    <artifactId>msm-xstream-serializer</artifactId>  
    <version>version</version>
</dependency>  
flexjson:
<dependency>  
    <groupId>de.javakaffee.msm</groupId>  
    <artifactId>msm-flexjson-serializer</artifactId>  
    <version>version</version>  
</dependency>

各种序列化所需要的jar包如下：
- kryo-serializer: msm-kryo-serializer, kryo-serializers, kryo, minlog, reflectasm, asm
- javolution-serializer： msm-javolution-serializer, javolution
- xstream-serializer: msm-xstream-serializer, xstream, xmlpull, xpp3_min
- flexjson-serializer: msm-flexjson-serializer, flexjson

$CATALINA_HOME/lib/添加jar情况如下

context.xml配置

即修改$CATALINA_HOME/conf/context.xml文件中Context节点下的内容，提交MSM配置。
主要包括使用memcached来管理黏性session和非黏性session以及使用membase来管理非黏性session。
示例基于在一台主机的2个memcached实例，示例使用的序列化方式为kryo。

本次使用黏性session来管理，至于非黏性的可以自行配置或者下次再补充，配置如下，2个tomcat配置一样。

<Context>  
  ...  
<Manager   className="de.javakaffee.web.msm.MemcachedBackupSessionManager"  memcachedNodes="n1:localhost:11211,n2:localhost:11311"  
        sticky="false" sessionBackupAsync="false" 
        lockingMode="auto" 
        requestUriIgnorePattern=".*\.(ico|png|gif|jpg|css|js)$" 
transcoderFactoryClass="de.javakaffee.web.msm.serializer.kryo.KryoTranscoderFactory"/>
</Context>  

Nginx安装、配置、启动

官网下载稳定版本，

解压后进入该目录后，

start nginx  // 启动

这样，nginx 服务就启动了。打开任务管理器，查看 nginx.exe 进程，有二个进程会显示，占用系统资源，那是相当的少。然后再打开浏览器，输入 http://127.0.0.1/ 就可以看到nginx的欢迎页面了，非常友好。

nginx -s stop          // 停止nginx
nginx -s reload       // 重新加载配置文件
nginx -s quit          // 退出nginx

默认情况下，Nginx使用默认的配置文件nginx.conf，修改它，如下：

#user nobody;
worker_processes  2;

#error_log logs/error.log;
#error_log logs/error.log notice;
#error_log logs/error.log info;

#pid logs/nginx.pid;


events {
    worker_connections  1024;
}


http {
    include       mime.types;
    default_type  application/octet-stream;

    log_format  main  '$remote_addr - $remote_user [$time_local] "$request" '
                      '$status $body_bytes_sent "$http_referer" '
                      '"$http_user_agent" "$http_x_forwarded_for"';

    access_log  logs/access.log  main;

    sendfile        on;
    #tcp_nopush on;

    #keepalive_timeout 0;
    #keepalive_timeout 65;

    #gzip on;
    upstream localhost {  
        #ip_hash;
        server localhost:8080 weight=1;  
        server localhost:8081 weight=1;
    }

    server {
        listen       80;
        server_name  localhost;
        charset utf-8;

        #charset koi8-r;

        #access_log logs/host.access.log main;

        location / {
            root   html;
            index  index.html index.htm;
            proxy_pass http://localhost;  
            proxy_connect_timeout 2s;
            proxy_set_header X-Real-IP $remote_addr;
            proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
        }

        location ~ ^/(WEB-INF)/ {   
        deny all;   
        }   


        #error_page 404 /404.html;

        # redirect server error pages to the static page /50x.html
        #
        error_page   500 502 503 504  /50x.html;
        location = /50x.html {
            root   html;
        }

        # proxy the PHP scripts to Apache listening on 127.0.0.1:80
        #
        #location ~ \.php$ {
        # proxy_pass http://127.0.0.1;
        #}

        # pass the PHP scripts to FastCGI server listening on 127.0.0.1:9000
        #
        #location ~ \.php$ {
        # root html;
        # fastcgi_pass 127.0.0.1:9000;
        # fastcgi_index index.php;
        # fastcgi_param SCRIPT_FILENAME /scripts$fastcgi_script_name;
        # include fastcgi_params;
        #}

        # deny access to .htaccess files, if Apache's document root
        # concurs with nginx's one
        #
        #location ~ /\.ht {
        # deny all;
        #}
    }




    # another virtual host using mix of IP-, name-, and port-based configuration
    #
    #server {
    # listen 8000;
    # listen somename:8080;
    # server_name somename alias another.alias;

    # location / {
    # root html;
    # index index.html index.htm;
    # }
    #}


    # HTTPS server
    #
    #server {
    # listen 443 ssl;
    # server_name localhost;

    # ssl_certificate cert.pem;
    # ssl_certificate_key cert.key;

    # ssl_session_cache shared:SSL:1m;
    # ssl_session_timeout 5m;

    # ssl_ciphers HIGH:!aNULL:!MD5;
    # ssl_prefer_server_ciphers on;

    # location / {
    # root html;
    # index index.html index.htm;
    # }
    #}

}

测试

登陆页面

成功页面
success1

success2

当把tomcat（8080）关掉后，调用tomcat(8081)显示success2；
当关闭一个memcached服务后，显示正常。

参考

Nginx+Memcached+Tomcat集群配置实践（Sticky Session）
同一台Windows机器中启动多个Memcached服务
MSM–Memcached_Session_Manager介绍及使用
memcached-session-manager配置
Windows下Nginx的安装与配置