Nginx反向代理Tomcat实现现负载均衡（高可用）以及利用redis+Session同步会话共享配置详解
简介：
一、Redis介绍
redis是一个key-value存储系统。和Memcached类似，它支持存储的value类型相对更多，包括string(字符串)、list(链表)、set(集合)、zset(sortedset --有序集合)和hash（哈希类型）。与memcached一样，为了保证效率，数据都是缓存在内存中。区别的是redis会周期性的把更新的数据写入磁盘或者把修改操作写入追加的记录文件，并且在此基础上实现master-slave(主从)同步。
Redis是一个高性能的key-value数据库。redis的出现，很大程度补偿了memcached这类key/value存储的不足，在部分场合可以对关系数据库起到很好的补充作用。它提供了Java，C/C++，C#，PHP，JavaScript，Perl，Object-C，Python，Ruby等客户端，使用很方便。
如果简单地比较Redis与Memcached的区别，基本上有以下3点：
1、Redis不仅仅支持简单的k/v类型的数据，同时还提供list，set，zset，hash等数据结构的存储。
2、Redis支持数据的备份，即master-slave模式的数据备份。
3、Redis支持数据的持久化，可以将内存中的数据保持在磁盘中，重启的时候可以再次加载进行使用。
在Redis中，并不是所有的数据都一直存储在内存中的。这是和Memcached相比一个最大的区别。Redis只会缓存所有的key的信息，如果Redis发现内存的使用量超过了某一个阀值，将触发swap的操作，Redis根据“swappability =age*log(size_in_memory)”计算出哪些key对应的value需要swap到磁盘。然后再将这些key对应的value持久化到磁盘中，同时在内存中清除。这种特性使得Redis可以保持超过其机器本身内存大小的数据。当然，机器本身的内存必须要能够保持所有的key，因为这些数据是不会进行swap操作的。
当从Redis中读取数据的时候，如果读取的key对应的value不在内存中，那么Redis就需要从swap文件中加载相应数据，然后再返回给请求方。
memcached和redis的比较
1、网络IO模型
Memcached是多线程，非阻塞IO复用的网络模型，分为监听主线程和worker子线程，监听线程监听网络连接，接受请求后，将连接描述字pipe 传递给worker线程，进行读写IO, 网络层使用libevent封装的事件库，多线程模型可以发挥多核作用。
Redis使用单线程的IO复用模型，自己封装了一个简单的AeEvent事件处理框架，主要实现了epoll、kqueue和select，对于单纯只有IO操作来说，单线程可以将速度优势发挥到最大，但是Redis也提供了一些简单的计算功能，比如排序、聚合等，对于这些操作，单线程模型实际会严重影响整体吞吐量，CPU计算过程中，整个IO调度都是被阻塞住的。
2、内存管理方面
Memcached使用预分配的内存池的方式，使用slab和大小不同的chunk来管理内存，value根据大小选择合适的chunk存储。Redis使用现场申请内存的方式来存储数据。
3、存储方式及其它方面
Memcached基本只支持简单的key-value存储，不支持持久化和复制等功能，Redis除key/value之外，还支持list,set,sortedset,hash等众多数据结构
二、如何保持session会话
简介：
目前，为了使web能适应大规模的访问，需要实现应用的集群部署。集群最有效的方案就是负载均衡，而实现负载均衡用户每一个请求都有可能被分配到不固定的服务器上，这样我们首先要解决session的统一来保证无论用户的请求被转发到哪个服务器上都能保证用户的正常使用，即需要实现session的共享机制。
在集群系统下实现session统一的有如下几种方案：
1、请求精确定位：sessionsticky，例如基于访问ip的hash策略，即当前用户的请求都集中定位到一台服务器中，这样单台服务器保存了用户的session登录信息，如果宕机，则等同于单点部署，会丢失，会话不复制。
2、session复制共享：sessionreplication，如tomcat自带session共享，主要是指集群环境下，多台应用服务器之间同步session，使session保持一致，对外透明。 如果其中一台服务器发生故障，根据负载均衡的原理，调度器会遍历寻找可用节点，分发请求，由于session已同步，故能保证用户的session信息不会丢失，会话复制,。
此方案的不足之处：
必须在同一种中间件之间完成(如:tomcat-tomcat之间).
session复制带来的性能损失会快速增加.特别是当session中保存了较大的对象,而且对象变化较快时, 性能下降更加显著，会消耗系统性能。这种特性使得web应用的水平扩展受到了限制。
Session内容通过广播同步给成员，会造成网络流量瓶颈，即便是内网瓶颈。在大并发下表现并不好
3、基于cache DB缓存的session共享，基于memcache/redis缓存的 session 共享即使用cacheDB存取session信息，应用服务器接受新请求将session信息保存在cache DB中，当应用服务器发生故障时，调度器会遍历寻找可用节点，分发请求，当应用服务器发现session不在本机内存时，则去cache DB中查找，如果找到则复制到本机，这样实现session共享和高可用。
三、nginx+tomcat+redis实现负载均衡、session共享
实验环境：
| 主机 |
操作系统 |
IP地址 |
| Nginx |
Centos7.2 |
192.168.197.170 |
| Tomcat-1 |
192.168.197.172 |
|
| Tomcat-2 |
192.168.197.173 |
|
| Mysql |
192.168.197.175 |
|
| Redis |
192.168.197.174 |
在这个图中，nginx做为反向代理，实现静动分离，将客户动态请求根据权重随机分配给两台tomcat服务器，redis做为两台tomcat的共享session数据服务器，mysql做为两台tomcat的后端数据库。
本人声明：由于Nginx服务在这之前讲解过安装，所以这里不再一一配置，如果想看Nginx具体的安装点击下面的链接即可：
Nginx安装：http://blog.csdn.net/kangshuo2471781030/article/details/79194973
使用Nginx作为Tomcat的负载平衡器，Tomcat的会话Session数据存储在Redis，能够实现零宕机的7x24效果。因为将会话存储在Redis中，因此Nginx就不必配置成stick粘贴某个Tomcat方式，这样才能真正实现后台多个Tomcat负载平衡。
1.配置nginx反向代理：反向代理+负载均衡+健康探测，nginx.conf文件内容：
[root@www ~]# cat /usr/local/nginx1.10/conf/nginx.conf
user wwwwww;
worker_processes 4;
worker_cpu_affinity 0001 0010 0100 1000;
error_log logs/error.log;
#error_log logs/error.log notice;
#error_log logs/error.log info;
worker_rlimit_nofile 10240;
pid logs/nginx.pid;
events {
useepoll;
worker_connections 4096;
}
http {
includemime.types;
default_type application/octet-stream;
log_format main '$remote_addr - $remote_user [$time_local] "$request" '
'$status $body_bytes_sent "$http_referer" '
'"$http_user_agent" "$http_x_forwarded_for"';
access_log logs/access.log main;
server_tokens off;
sendfile on;
tcp_nopush on;
#keepalive_timeout 0;
keepalive_timeout 65;
#Compression Settings
gzip on;
gzip_comp_level 6;
gzip_http_version 1.1;
gzip_proxied any;
gzip_min_length 1k;
gzip_buffers 16 8k;
gzip_types text/plain text/css text/javascript application/json application/javascript application/x-javascript application/xml;
gzip_vary on;
#end gzip
# http_proxy Settings
client_max_body_size 10m;
client_body_buffer_size 128k;
proxy_connect_timeout 75;
proxy_send_timeout 75;
proxy_read_timeout 75;
proxy_buffer_size 4k;
proxy_buffers 4 32k;
proxy_busy_buffers_size 64k;
proxy_temp_file_write_size 64k;
#load balance Settings
upstreambackend_tomcat {
server 192.168.197.172:8080 weight=1 max_fails=2 fail_timeout=10s;
server 192.168.197.173:8080 weight=1 max_fails=2 fail_timeout=10s;
}
#virtual host Settings
server {
listen 80;
server_name www.benet.com;
charset utf-8;
location / {
root html;
index index.jsp index.html index.htm;
}
location ~* \.(jsp|do)$ {
proxy_pass http://backend_tomcat;
proxy_redirect off;
proxy_set_header Host $host;
proxy_set_header X-Real-IP $remote_addr;
proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
proxy_next_upstream error timeout invalid_header http_500 http_502 http_503 http_504;
}
location /nginx_status {
stub_status on;
access_log off;
allow 192.168.31.0/24;
deny all;
}
}
}
（1.）重启nginx服务，使修改生效
[root@kang ~]# service nginx reload [root@www ~]# firewall-cmd --permanent --add-port=80/tcp
success
[root@www ~]# firewall-cmd --reload
success
在tomcat-1和tomcat-2节点上安装JDK
在安装tomcat之前必须先安装JDK，JDK的全称是java development kit,是sun公司免费提供的java语言的软件开发工具包，其中包含java虚拟机（JVM），编写好的java源程序经过编译可形成java字节码，只要安装了JDK，就可以利用JVM解释这些字节码文件，从而保证了java的跨平台性。
安装JDK，配置java环境：（1.） 将jdk-7u65-linux-x64.gz解压
[root@kang ~]# tar zxf jdk-7u65-linux-x64.gz [root@kang ~]# mv jdk1.7.0_65/ /usr/local/javaexport JAVA_HOME=/usr/local/java
export PATH=$JAVA_HOME/bin:$PATH
（4.）通过source命令执行profile文件，使其生效。
[root@kang ~]# source /etc/profile
按照相同方法在tomcat-2也安装JDK
（5.）分别在在tomcat-1和tomcat-2节点运行java -version命令查看java版本是否和之前安装的一致。
[root@kang ~]# java -version
至此java环境已经配置完成！！！
在tomcat-1和tomcat-2节点安装配置tomcat
（1.）解压apache-tomcat-7.0.54.tar.gz包
[root@kang ~]# tar zxf apache-tomcat-7.0.54.tar.gz [root@kang ~]# mv apache-tomcat-7.0.54 /usr/local/tomcat7/etc/profile文件内容如下：
export JAVA_HOME=/usr/local/java
export CATALINA_HOME=/usr/local/tomcat7
export PATH=$JAVA_HOME/bin:$CATALINA_HOME/bin:$PATH
（4.）通过source命令执行profile文件，使其生效。
（5.）查看tomcat的版本信息
[root@kang ~]# catalina.sh version
（6.）启动tomcat
[root@kang ~]# /usr/local/tomcat7/bin/startup.sh 
（7.）Tomcat默认运行在8080端口，运行netstat命令查看8080端口监听的信息
[root@kang ~]# netstat -anpt | grep java
（8.）防火墙规则配置：
[root@kang ~]# firewall-cmd --permanent --add-port=8080/tcp
success
[root@kang ~]# firewall-cmd --reload
success
[root@kang ~]# 按照相同方法在tomcat-2也安装配置
如下图所示即可安装成功！！！
注意：访问Tomcat时候，要加上端口访问才行！！！
如果想关闭tomcat则运行/usr/local/tomcat7/bin/shutdown.sh命令
/usr/local/tomcat7/bin/shutdown.sh（10、）好了，大家可以看到Tomcat访问成功。说明我们的tomcat安装完成，下面我们来修改配置文件
[root@kang ~]# vim /usr/local/tomcat7/conf/server.xml
设置默认虚拟主机，并增加jvmRoute
修改默认虚拟主机，并将网站文件路径指向/web/webapp1，在host段增加context段
设置默认虚拟主机，并增加jvmRoute
修改默认虚拟主机，并将网站文件路径指向/web/webapp1，在host段增加context段
（11、）增加文档目录与测试文件
[root@kang ~]# mkdir -p /web/webapp1
[root@kang ~]# cd /web/webapp1/
[root@kang webapp1]# vim index.jsp
index.jsp内容如下：
<%@page language="java" import="java.util.*" pageEncoding="UTF-8"%>
tomcat-1
Session serviced by tomcat
Session ID
<%=session.getId() %>
<% session.setAttribute("abc","abc");%>
Created on
<%= session.getCreationTime() %>
（12.）停止tomcat运行，检查配置文件。
[root@kang ~]# shutdown.sh
[root@kang ~]# netstat -anpt | grep java
[root@kang ~]#catalina.sh configtest
启动Tomcat服务：
查看Tomcat端口：
Tomcat-2节点与tomcat-1节点配置基本类似，只是jvmRoute不同，另外为了区分由哪个节点提供访问，测试页标题也不同（生产环境两个tomcat服务器提供的网页内容是相同的）。其他的配置都相同。
设置默认虚拟主机，并增加jvmRoute
修改默认虚拟主机，并将网站文件路径指向/web/webapp1，在host段增加context段
第一次访问的结果：
第二次访问的结果：
注意：验证健康检查（高可用）的方法可以关掉一台tomcat主机，用客户端浏览器测试访问，即使关掉一台还有另一台提供服务。
通过上图说明Nginx成功实现了反向代理以及Tomcat成功实现了负载均衡和高可用！！！
从上面的结果能看出两次访问，nginx把访问请求分别分发给了后端的tomcat-1和tomcat-2，客户端的访问请求实现了负载均衡和健康检查（高可用），但sessionid不一样。
所以，到这里我们准备工作就全部完成了，下面我们来配置tomcat通过redis实现会话保持。
3.安装配置Redis
可以下载redis源码，并进行相关操作，如下：
wget http://download.redis.io/releases/redis-3.2.3.tar.gz
（1.）解压安装redis[root@kang ~]# tar zxf redis-3.2.3.tar.gz
[root@kang ~]# cd redis-3.2.3/
[root@kang redis-3.2.3]# make && make install
通过上图，我们可以很容易的看出，redis安到:
/usr/local,/usr/local/bin,/usr/local/share,/usr/local/include,/usr/local/lib,/usr/local/share/man目录下。
[root@kang redis-3.2.3]# cd utils/
[root@kang utils]# ./install_server.sh
通过上面的安装过程，我们可以看出redis初始化后redis配置文件为/etc/redis/6379.conf，日志文件为/var/log/redis_6379.log，数据文件dump.rdb存放到/var/lib/redis/6379目录下，启动脚本为/etc/init.d/redis_6379。
（3.）现在我们要使用systemd，所以在 /etc/systems/system 下创建一个单位文件名字为 redis_6379.service。
[root@kang utils]# vim /etc/systemd/system/redis_6379.service内容如下：
[Unit]
Description=Redis on port 6379
[Service]
Type=forking
ExecStart=/etc/init.d/redis_6379 start
ExecStop=/etc/init.d/redis_6379 stop
[Install]
WantedBy=multi-user.target注意：这里Type=forking是后台运行的形式
如下图所示：
（4.）启动redis
[root@kang utils]# systemctl daemon-reload
[root@kang utils]# systemctl enable redis_6379.service
[root@kang utils]# systemctl start redis_6379.service
[root@kang utils]# systemctl status redis_6379.service 
（5.）查看监听端口：
从显示结果可以看到redis默认监听的是127.0.0.1的6379端口
注意：关闭防火墙或者进行规则设置[root@kang utils]# firewall-cmd --permanent --add-port=6379/tcp
success
[root@kang utils]# firewall-cmd --reload
success
[root@kang utils]#
[root@kang utils]# redis-cli --version
redis-cli 3.2.3
[root@kang utils]#
通过显示结果，我们可以看到redis版本是3.2.3。
到此源码方式安装redis就介绍完毕。！！！
redis安装完毕之后，我们再来配置redis
最终redis配置文件如下：
[root@redis ~]# grep -Ev '^#|^$' /etc/redis/6379.conf
bind 127.0.0.1 192.168.31.106
protected-mode yes
port 6379
tcp-backlog 511
timeout 0
tcp-keepalive 300
daemonize yes
supervised no
pidfile /var/run/redis_6379.pid
loglevel notice
logfile /var/log/redis_6379.log
databases 16
save 900 1
save 300 10
save 60 10000
stop-writes-on-bgsave-error yes
rdbcompression yes
rdbchecksum yes
dbfilenamedump.rdb
dir /var/lib/redis/6379
slave-serve-stale-data yes
slave-read-only yes
repl-diskless-sync no
repl-diskless-sync-delay 5
repl-disable-tcp-nodelay no
slave-priority 100
requirepass pwd@123
appendonly no
appendfilename "appendonly.aof"
appendfsynceverysec
no-appendfsync-on-rewrite no
auto-aof-rewrite-percentage 100
auto-aof-rewrite-min-size 64mb
aof-load-truncated yes
lua-time-limit 5000
slowlog-log-slower-than 10000
slowlog-max-len 128
latency-monitor-threshold 0
notify-keyspace-events ""
hash-max-ziplist-entries 512
hash-max-ziplist-value 64
list-max-ziplist-size -2
list-compress-depth 0
set-max-intset-entries 512
zset-max-ziplist-entries 128
zset-max-ziplist-value 64
hll-sparse-max-bytes 3000
activerehashing yes
client-output-buffer-limit normal 0 0 0
client-output-buffer-limit slave 256mb 64mb 60
client-output-buffer-limitpubsub 32mb 8mb 60
hz 10
aof-rewrite-incremental-fsync （2.）修改Redis主配置文件：
设置redis监听的地址，添加监听redis主机的ip
考虑到安全性，我们需要启用redis的密码验证功能requirepass参数
（3.）重新启动redis服务
（4.）redis配置文件配置完毕后，我们用redis进行简单的操作。如下：
[root@kang ~]# redis-cli -h 192.168.197.174 -p 6379 -a pwd@123
192.168.197.174:6379> keys *
(empty list or set)
192.168.197.174:6379> set name lisi
OK
192.168.197.174:6379> get name
"lisi"
192.168.197.174:6379>
说明：
关于redis-cli -h192.168.31.106 -p 6379 -a pwd@123的参数解释
这条命令是说要连接redis服务器，IP是192.168.31.106，端口是6379，密码是pwd@123。
keys *是查看redis所有的键值对。
set namelisi添加一个键值name，内容为lisi。
get name查看name这个键值的内容。
redis的命令使用暂时我们就介绍这么多
4.配置tomcat、session 、redis同步
（1.）下载tomcat-redis-session-manager相应的jar包，主要有三个：
tomcat-redis-session-manage-tomcat7.jar
jedis-2.5.2.jar
commons-pool2-2.2.jar
[root@kang ~]# cp tomcat-redis-session-manage-tomcat7.jar jedis-2.5.2.jar commons-pool2-2.2.jar /usr/local/tomcat7/lib/
修改tomcat的context.xml：
例如：
WEB-INF/web.xml
vim /usr/local/tomcat7/conf/context.xml 
说明：
maxInactiveInterval="60"：session的失效时间
（3.）重启tomcat服务
[root@tomcat-1 ~]# shutdown.sh
Using CATALINA_BASE: /usr/local/tomcat7
Using CATALINA_HOME: /usr/local/tomcat7
Using CATALINA_TMPDIR: /usr/local/tomcat7/temp
Using JRE_HOME: /usr/local/java
Using CLASSPATH: /usr/local/tomcat7/bin/bootstrap.jar:/usr/local/tomcat7/bin/tomcat-juli.jar
[root@tomcat-1 ~]# startup.sh
Using CATALINA_BASE: /usr/local/tomcat7
Using CATALINA_HOME: /usr/local/tomcat7
Using CATALINA_TMPDIR: /usr/local/tomcat7/temp
Using JRE_HOME: /usr/local/java
Using CLASSPATH: /usr/local/tomcat7/bin/bootstrap.jar:/usr/local/tomcat7/bin/tomcat-juli.jar
Tomcat started.
tomcat-2执行和tomcat-1相同的操作
（4.）通过浏览器访问http://192.168.197.176/index.jsp测试页（访问Nginx服务）
刷新页面：
可以看出，分别访问了不同的tomcat，但是得到的session却是相同的，说明达到了（Session同步会话共享）集群的目的。
注意：从Tomcat6开始默认开启了Session持久化设置，测试时可以关闭本地Session持久化，其实也很简单，在Tomcat的conf目录下的context.xml文件中，取消注释下面那段配置即可：
修改前：
修改后：
（5.）重启tomcat服务
[root@tomcat-1 ~]# shutdown.sh
Using CATALINA_BASE: /usr/local/tomcat7
Using CATALINA_HOME: /usr/local/tomcat7
Using CATALINA_TMPDIR: /usr/local/tomcat7/temp
Using JRE_HOME: /usr/local/java
Using CLASSPATH: /usr/local/tomcat7/bin/bootstrap.jar:/usr/local/tomcat7/bin/tomcat-juli.jar
[root@tomcat-1 ~]# startup.sh
Using CATALINA_BASE: /usr/local/tomcat7
Using CATALINA_HOME: /usr/local/tomcat7
Using CATALINA_TMPDIR: /usr/local/tomcat7/temp
Using JRE_HOME: /usr/local/java
Using CLASSPATH: /usr/local/tomcat7/bin/bootstrap.jar:/usr/local/tomcat7/bin/tomcat-juli.jar
Tomcat started.[root@kang ~]# redis-cli -h 192.168.197.174 -p 6379 -a pwd@123
5.配置tomcat连接数据库
192.168.197.175作为mysql数据库服务器
[root@kang ~]# mysql -uroot -p
Enter password: mysql> grant all on *.* to javauser@'192.168.31.%' identified by 'javapasswd';
Query OK, 0 rows affected, 1 warning (0.32 sec)
mysql>
注意：关闭防火墙或者放行数据库端口
[root@kang ~]# firewall-cmd --permanent --add-port=3306/tcp
success
[root@kang ~]# firewall-cmd --reload
success配置tomcat服务器连接mysql数据库
（1.）下载 mysql-connector-java-5.1.22-bin.jar 并复制到 $CATALINA_HOME/lib 目录下[root@kang ~]# cp mysql-connector-java-5.1.22-bin.jar /usr/local/tomcat7/lib/
（2.）修改Tomcat的context.xml
[root@kang ~]# vi /usr/local/tomcat7/conf/context.xml
在
保存修改并退出！！
（3.）web.xml configuration（配置）
[root@kang ~]# mkdir /web/webapp1/WEB-INF
[root@kang ~]# vim /web/webapp1/WEB-INF/web.xml
MySQL Test App
DB Connection
jdbc/TestDB
javax.sql.DataSource
Container
（4.）保存修改并退出，重启tomcat服务
[root@tomcat-1 ~]# shutdown.sh
Using CATALINA_BASE: /usr/local/tomcat7
Using CATALINA_HOME: /usr/local/tomcat7
Using CATALINA_TMPDIR: /usr/local/tomcat7/temp
Using JRE_HOME: /usr/local/java
Using CLASSPATH: /usr/local/tomcat7/bin/bootstrap.jar:/usr/local/tomcat7/bin/tomcat-juli.jar
[root@tomcat-1 ~]# startup.sh
Using CATALINA_BASE: /usr/local/tomcat7
Using CATALINA_HOME: /usr/local/tomcat7
Using CATALINA_TMPDIR: /usr/local/tomcat7/temp
Using JRE_HOME: /usr/local/java
Using CLASSPATH: /usr/local/tomcat7/bin/bootstrap.jar:/usr/local/tomcat7/bin/tomcat-juli.jar
Tomcat started.
tomcat-2进行和tomcat-1相同的操用
在Tomcat-2上创建一个test.jsp测试文件，测试数据库的连接！！！
[root@kang ~]# vi /web/webapp1/test.jsp
<%@ page language="java" import="java.sql.*" pageEncoding="GB2312"%>
MySQL
connect MySQL
<%
String driverClass="com.mysql.jdbc.Driver";
String url="jdbc:mysql://192.168.197.175:3306/javatest";
String username = "javauser";
String password = "javapasswd";
Class.forName(driverClass);
Connection conn=DriverManager.getConnection(url, username, password);
Statement stmt=conn.createStatement();
ResultSetrs = stmt.executeQuery("select * from testdata");
while(rs.next()){
out.println("
foo:"+rs.getString(2)+"bar:"+rs.getString(3));
}
rs.close();
stmt.close();
conn.close();
%>
通过上图说明数据库连接成功！！！
注意：
以上配置可以参考tomcat docs
到这里有关Nginx反向代理Tomcat实现现负载均衡（高可用）以及利用redis+Session同步会话共享配置就演示完毕了！
@@！！！
希望对你有所帮助！！！！再见！！！