传统的Java Web项目是通过tomcat来运行和发布的。但在实际的企业应用环境中,采用单一的tomcat来维持项目的运行是不现实的。tomcat 处理能力低,效率低,承受并发小(1000左右)。当用户请求较少时,单一的tomcat能够快速响应用户请求,但如果访问量一大,tomcat处理能力跟不上,无法及时响应请求,就会造成用户等待;如果访问量过大,超出tomcat的承受能力,还可能导致tomcat超载故障。
apache 是一个 web 服务器环境程序,可以作为web 服务器使用。Apache对并发请求的处理能力较tomcat强,对静态页面(如asp,php,cgi,jsp等)的处理上比tomcat更为迅速,但apache不支持动态网页(需借助tomcat)。
因此实际应用中可以搭建apache+tomcat负载均衡集群,一个apache 作为 Web 服务器,为网站的静态页面请求提供服务;并使用tomcat 服务器作为一个 Servlet/JSP 插件,用于处理网站的动态页面。当用户通过浏览器发出请求时,客户请求首先会发送到 apache,如果请求是静态文本则由 apache 解析,并把结果返回给客户端;如果是动态的请求,如 jsp,apache 会把解析工作交给 tomcat,由 tomcat 进行解析(这首先要两者现实整合),tomcat 解析完成后,结果仍是通过 apache 返回给客户端。这样就可以达到分工合作,实现负载均衡,提高系统的性能!
工具/原料
Linux系统:选用Redhat的开源版本CentOS操作系统(这里用CentOS 5.5版本)
JDK:选用版本为jdk1.7.0_45,安装包jdk-7u45-linux-i586.tar.gz
Apache:选用版本2.4.7,安装包httpd-2.4.7.tar.gz
Tomcat:选用版本7.0.47,安装包apache-tomcat-7.0.47.tar.gz
JK:选用版本1.2.37,安装包:tomcat-connectors-1.2.37-src.tar.gz
方法/步骤
1、找一台计算机做linux服务器,在上面安装CentOS操作系统。
2、在linux服务器上安装CentOS之后,事先将所有软件的安装包上传到linux服务器上,并放置在/software目录下。
3、JDK安装(1):因为CentOS自带有open jdk,需要将其删除,再重新安装oracle jdk。但如果直接在centOS的“应用程序–添加/删除软件–基本系统–java”中,删除java,与之相关的openoffice等软件,也会自动随之删除,因此,在进行原有的jdk删除之前,最好先安装配置好新的jdk及相应的环境。
4、JDK安装(2):安装下载的oracle jdk。
(1)在/usr/local目录下新建Java文件夹,并将安装包从/software目录拷贝到/usr/local/Java目录下(图形界面下直接“复制”-“粘贴”即可)。
#cp /software/jdk-7u45-linux-i586.tar.gz/usr/local/Java
(2)定位到文件夹/usr/local/Java。
#cd /usr/local
(3)解压安装包到当前目录。
#tar -zxvf jdk-7u45-linux-i586.tar.gz
(4)配置java的环境变量。
export JAVA_HOME=/usr/local/Java/jdk1.7.0_45
export CLASSPATH=.:$CLASSPATH:$JAVA_HOME/lib:$JAVA_HOME/jre/lib
export PATH=$PATH:$JAVA_HOME/bin:$JAVA_HOME/jren
(5)修改完成以后,logout再重新登陆,或#source /etc/profile,使文件立即生效。
5、JDK安装(3):查看与系统自带open jdk有关的包。
在终端中输入“rpm -qa|grep gcj”,查看gcj的版本号,在这里得到的结果如图所示:
6、JDK安装(4):卸载系统自带open jdk。
在终端中输入“yum -y remove javajava-1.4.2-gcj-compat-1.4.2.0-40jpp.115
”,然后等待,等待系统卸载完自带的jdk。最终在终端中显示“Complete!”,卸载完成。
7、JDK安装(5):卸载系统自带open jdk时出现问题及解决方案。
【问题】使用yum安装或卸载软件,出现如图所示的提示错误。
原因是系统进程已经有一个yum的update进程在运行了。可用ps -ef | grep update
查看进程。解决办法是在命令行输入下面两条命令:
#rm -rf /var/run/yum.pid /sbin/service
#yum -updatesdrestart
8、JDK安装(6):查看jdk版本。
在命令行中输入java -version
命令可查看安装的jdk版本。如果显示出jdk安装的版本信息则说明jdk安装成功。
如果出现如图所示的错误信息,则是因为系统的selinux的设置问题,即开启了selinux服务。解决办法如下:
(1)打开/etc/selinux/config;
(2)把selinux=enforcing改为selinux=disabled;
(3)重启linux。
9、Apache安装(1):使用# rpm -qa|grep httpd
,查看与httpd相关软件包。发现CentOS自带有apache,版本为2.2.3。因此在安装我们需要的apache之前,需要卸载CentOS自带的apache。
10、Apache安装(2):卸载CentOS自带Apache。
上一步我们已经查看了与httpd相关的软件包,这一步要删除删除httpd。在命令行中使用:# rpm -e httpd。
如果出现如图所示错误,说明还有一个相关的软件包没有删除,清除之,即:# rpm -e gnome-user-share。
11、Apache安装(3):再次删除httpd:# rpm -e httpd
。
可以使用参数–nodeps的意思就是不管各个程序包间的依赖关系。
#rpm -e --nodeps httpd //这样不需要删除gnome-user-share了。
12、Apache安装(4):重新安装自己下载的Apache
(1)将安装包从/software目录拷贝到/usr/local目录下。
#cp /software/httpd-2.4.7.tar.gz /usr/local
(2)定位到文件夹/usr/local。
#cd /usr/local
(3)解压安装包到当前目录。
#tar -zxvf httpd-2.4.7.tar.gz
(4)定位到文件夹/usr/local /httpd-2.4.7。
#cd httpd-2.4.7
(5)设置安装路径和需要编译的模块。
# ./configure–prefix=/usr/local/apache –enable-so -enable-proxy -enable-proxy_http=shared–enable-module=so –enable-mods-shared=all –enable-proxy-ajp=shared –enable-proxy-balancer -with-mpm=worker
//备注:prefix定义apache的安装路径编译通过,继续安装apache。
#make && makeinstall
13、Apache安装(5):apache安装的check过程中出错,如图所示:APR not found 。原因是没有安装apr。
在/usr/local目录下安装apr:
#tar -zxvf apr-1.5.0.tar.gz
#cd apr-1.5.0
#./configure –prefix=/usr/local/apr
#make
#make install
14、Apache安装(6):apache安装的check过程中出错,如图所示:APR-util not found。原因是没有安装apr-util。
在/usr/local目录下安装apr-util:
#tar -zxvf apr-util-1.5.3.tar.gz
#cd apr-util-1.5.3
#./configure–prefix=/usr/local/apr-util –with-apr=/usr/local/apr
#make
#make install
安装完成后,在apache的./configure
最后增加--with-apr=/usr/local/apr --with-apr-util=/usr/local/apr-util
,重新configure apache
。
15、Apache安装(7):apache安装的check过程中出错,如图所示,原因是没有安装pcre。
在/usr/local目录下安装pcre:
# tar -zxvf pcre-8.32.tar.gz
#cd pcre-8.32
#./configure–prefix=/usr/local/pcre
#make
#make install
安装完成后,在apache的./configure
最后增加./configure
时加上参数 –with-apr=/usr/local/apr/ --with-apr-util=/usr/local/apr-util/--with-pcre=/usr/local/pcre
,重新configure apache。
16、Apache安装(8):编译通过,继续安装apache。
#make && makeinstall 。
17、Apache配置及测试(1):安装完毕后,在测试启动apache之前先修改/apache/conf /httpd.conf。
(1)查找ServerName,打开注释,将ServerName值改为对应的IP地址。
(2)在DirectoryIndex中添加 index.jsp。
(3)以下2个注释去掉:
#Include conf/extra/httpd-mpm.conf
#Include conf/extra/httpd-default.conf
18、Apache配置及测试(2):保存httpd.conf文件的修改,启动apache服务。
# /usr/local/apache/bin/apachectl start
浏览器访问http://127.0.0.1,提示无法连接。说明apache没有成功启动。查看错误日志(/apache/logs/error_log
),发现如图错误信息。原因是httpd.conf里面的mod_slotmem_shm.so
没有加载。将httpd.conf 文件中的
“#LoadModule slotmem_shm_module modules/mod_slotmem_shm.so”
前的“#”
去掉即可。
19、Apache配置及测试(3):
(1)重新启动apache并查看httpd是否运行。
# /usr/local/apache/bin/apachectl start
# ps -ef | grep httpd
(2)浏览器测试apache。在浏览器中访问http://127.0.0.1 。页面出现“It's Works!”
字样即为成功。
20、Apache的启动和关闭:
在/usr/local/apache/bin下有可执行程序。
(1)启动apache服务:# /usr/local/apache/bin/apachectl start
(2)关闭apache服务:# /usr/local/apache/bin/apachectlstop
(3)重启apache服务:# /usr/local/apache/bin/apachectl restart
21、Tomcat安装、测试及配置(1):安装tomcat
(1)将安装包从/software目录拷贝到/usr/local目录下(图形界面下直接“复制”-“粘贴”即可)。
#cp /software/apache-tomcat-7.0.47.tar.gz/usr/local
(2)定位到文件夹/usr/local/。
#cd /usr/local
(3)解压安装包到当前目录。
#tar -zxvf apache-tomcat-7.0.47.tar.gz
(4)修改配置文件,增加java的环境变量信息。在/usr/local/apache-tomcat-7.0.47/bin
下有文件catalina.sh
在文件头部增加下列信息:
export JAVA_HOME=/usr/local//Java/jdk1.7.0_45
exportCLASSPATH=.:$CLASSPATH:$JAVA_HOME/lib:$JAVA_HOME/jre/lib
exportPATH=$PATH:$JAVA_HOME/bin:$JAVA_HOME/jre/bin
(5)启动tomcat
#/usr/local/apache-tomcat-7.0.47/bin/startup.sh
22、Tomcat安装、测试及配置(2):浏览器测试tomcat是否启动
测试tomcat。打开浏览器访问http://127.0.0.1:8080,可以看到tomcat的启动欢迎页面,证明tomcat配置正确。
23、Tomcat安装、测试及配置(3):tomcat的启动和关闭
在/usr/local/apache-tomcat-7.0.47/bin下有可执行程序。
(1)启动tomcat服务:
# /usr/local/apache-tomcat-7.0.47/bin/startup.sh
# /usr/local/apache-tomcat-7.0.47/bin/catalina.sh start
(2)关闭tomcat服务:
# /usr/local/apache-tomcat-7.0.47/bin/shutdown.sh
# /usr/local/apache-tomcat-7.0.47/bin/catalina.sh stop
24、Tomcat安装、测试及配置(4):java web项目发布
(1)用eclipse将编译好的Java Web项目导出成war包。
(2)将war包放置到linux服务器上的tomcat的webapps目录下。如本次配置放在/usr/local/apache-tomcat-7.0.47/webapps下。
(3)启动tomcat后,tomcat会自动将war包解压并运行Java Web项目。
(4)打开浏览器,输入http://127.0.0.1:8080/SessionTest(项目名),就可以访问项目。
25、Tomcat安装、测试及配置(5):设置Tomcat默认访问项目
打开/usr/local/apache-tomcat-7.0.47/conf/server.xml
,在
标签之间加入下面的语句
docBase值为想要默认访问的项目名称,此处为SessionTest。文件修改后如图所示。然后重新启动tomcat,打开浏览器,输入http://127.0.0.1:8080,就可以访问SessionTest项目。
26、mod_jk安装:
mod_jk的作用:连接apache和tomcat集群的中间件。
mod_jk的安装包:tomcat-connectors-1.2.37-src.tar.gz。
安装步骤如下:
(1)将安装包从/software目录拷贝到/usr/local目录下(图形界面下直接“复制”-“粘贴”即可)。
#cp /software/tomcat-connectors-1.2.37-src.tar.gz /usr/local
(2)定位到文件夹/usr/local/。
#cd /usr/local
(3)解压安装包到当前目录。
# tar -zxvf tomcat-connectors-1.2.37-src.tar.gz
(4)编译安装mod_jk。
#cd /tomcat-connectors-1. 2.37-src/native
# chmod 755buildconf.sh
# ./buildconf.sh
# ./configure--with-apxs=/usr/local/apache/bin/apxs
# make
# make install
(5)将/tomcat-connectors-1.2.37/apache-2.0下的mod_jk.so文件拷贝到apache安装目录下的modules文件夹下面。
# cp ./apache-2.0/mod_jk.so/usr/local/apache/modules/
27、负载均衡集群配置(1):修改Tomcat/conf 路径下的server.xml。
修改< Connector>
节点值,是关于使用ajp连接apache和tomcat时的配置。修改成如下形式
注意:如果一台机器上同时运行多个tomcat,一定要将每个tomcat对应的Connector标签的port端口设为不同的值
28、负载均衡集群配置(2):修改Tomcat/conf 路径下的server.xml。
修改
的配置。将
的注释打开,为安装的tomcat命名,即修改jvmRoute的值为“tomcat实例名”(不同的tomcat赋予不同值,此处安装了两个tomcat,分别命名为tomcat1和tomcat2),修改结果参见下图:
29、负载均衡集群配置(3):修改Tomcat/conf
路径下的server.xml。
在
或
元素下添加以下内容均可:
<Cluster className="org.apache.catalina.ha.tcp.SimpleTcpCluster"
channelSendOptions="6">
<Manager className="org.apache.catalina.ha.session.BackupManager"
expireSessionsOnShutdown="false"
notifyListenersOnReplication="true"
mapSendOptions="6"/>
<Channel className="org.apache.catalina.tribes.group.GroupChannel">
<Membership className="org.apache.catalina.tribes.membership.McastService"
address="228.0.0.4"
port="45564"
frequency="500"
dropTime="3000"/>
<Receiver className="org.apache.catalina.tribes.transport.nio.NioReceiver"
address="auto"
port="5000"
selectorTimeout="100"
maxThreads="6"/>
<Sender className="org.apache.catalina.tribes.transport.ReplicationTransmitter">
<Transport className="org.apache.catalina.tribes.transport.nio.PooledParallelSender"/>
Sender>
<Interceptor className="org.apache.catalina.tribes.group.interceptors.TcpFailureDetector"/>
<Interceptor className="org.apache.catalina.tribes.group.interceptors.MessageDispatch15Interceptor"/>
<Interceptor className="org.apache.catalina.tribes.group.interceptors.ThroughputInterceptor"/>
Channel>
<Valve className="org.apache.catalina.ha.tcp.ReplicationValve"
filter=".*\.gif;.*\.js;.*\.jpg;.*\.png;.*\.htm;.*\.html;.*\.css;.*\.txt;"/>
<Deployer className="org.apache.catalina.ha.deploy.FarmWarDeployer"
tempDir="/tmp/war-temp/"
deployDir="/tmp/war-deploy/"
watchDir="/tmp/war-listen/"
watchEnabled="false"/>
<ClusterListener className="org.apache.catalina.ha.session.ClusterSessionListener"/>
Cluster>
30、负载均衡集群配置(4):修改Tomcat/conf 路径下的server.xml。
修改
节点信息。
"org.apache.catalina.tribes.membership.McastService"
bind="127.0.0.1" bind下。如果没有的话可以不用加bind,否则会导致session无法复制-->
address="228.0.1.99" #广播地址,同一组tomcat集群一样
port="45564" #同一组tomcat集群一样
frequency="500"
dropTime="3000"/>
"org.apache.catalina.tribes.transport.nio.NioReceiver"
address="172.**.***.201" #修改为本机IP地址
port="5000" #(tomcat默认可以检测到4000~4100之间的端口)
selectorTimeout="100"
maxThreads="6"/>
31、负载均衡集群配置(5):修改待发布项目的web.xml
需要发布的项目放在tomcat的webapps文件夹下,在每个待发布项目的web.xml末尾的标签里添加
,确保session能够复制。如下图所示。
32、负载均衡集群配置(6):Apache配置——修改 httpd.conf
在apache的conf下的httpd.conf 文件尾部追加以下内容:
#加载mod_jk Module
LoadModule jk_module modules/mod_jk.so
#指定workers.properties文件路径
JkWorkersFile/usr/local/apache/conf/workers.properties
#指定jk logs文件存放位置
JkLogFile/usr/local/apache/logs/mod_jk.log
#Set the jk log level [debug/error/info]
JkLogLevel info
#Select the log format
JkLogStampFormat "[%a %b %d%H:%M:%S %Y]"
#JkOptions indicate to send SSL KEYSIZE,
JkOptions +ForwardKeySize +ForwardURICompat -ForwardDirectories
#JkRequestLogFormat set the requestformat
JkRequestLogFormat "%w %V %T %q %U%R"
#JkShmFile to put logs
JkShmFile/usr/local/apache/logs/mod_jk.shm
</IfModule>
#指定哪些请求交给tomcat处理,哪些请求交给apache处理
#注意:" loadbalancer "为在workers.propertise里指定的负载分配控制器
JkMount /*.jsp loadbalancer #所有的jsp都交给tomcat处理
33、负载均衡集群配置(7):Apache配置——创建workers.properties
httpd.conf的最后添加的配置中workers.properties文件是不存在的,需要我们自己在apache/conf路径下创建。workers.properties文件用于对负载均衡的负载器worker
(即tomcat)进行具体的登记,此处的2个tomcat就作为2个worker被登记在这个文件中。
workers.properties具体配置如下:
#workers.properties
#
# in unix, weuse forward slashes:
ps=/
# workers 列表
#server 列表 要与http.conf文件中JkMount后第二个参数(loadbalancer)一致 貌似 #Tomcat1实例配置 这里要和Tomcat配置文件Service.xml的jvmRoute保持一致
worker.list=tomcat1,tomcat2, loadbalancer, status
#--------------------------------------------------------------------
# 第一个tomcat
#--------------------------------------------------------------------
worker.tomcat1.port=8009 #对应tomcat的server.xml中配置的ajp13端口号
worker.tomcat1.host=127.0.0.1 #tomcat1的主机地址,如不为本机,请填写IP地址
worker.tomcat1.type=ajp13 #定向包协议
worker.tomcat1.lbfactor=1 #server的负载分配权重,值越高,分得的请求越多
#以下为非必要配置,这部分配置tomcat2的配置同tomcat1
#worker.tomcat1.cachesize=1000 #配置tomcat的jk连接缓存大小 (非必要)
#worker.tomcat1.cachesize_timeout=600 # (非必要)
#worker.tomcat1.reclycle_timeout=300 # (非必要)
#worker.tomcat1.socket_keepalive=1 #防止防火墙切断未激活的网络连接(非必要)
#worker.tomcat1.socket_timeout=300 #(非必要)
#worker.tomcat1.local_worker=1 # (非必要)
#worker.tomcat1.retries=3 # (非必要)
#----------------------------------------------------------------------
# 第二个tomcat
#----------------------------------------------------------------------
worker.tomcat2.port=8009
worker.tomcat2.host=172.**.***.202 #tomcat2的主机IP地址
worker.tomcat2.type=ajp13
worker.tomcat2.lbfactor=1
#----------------------------------------------------------------------
# load balancerworker -负载均衡控制器
# ---------------------------------------------------------------------
worker.loadbalancer.type=lb
worker.loadbalancer.balance_workers=tomcat1,tomcat2 #指定分担请求的tomcat
worker.loadbalancer.sticky_session=1 #设置为粘性session
worker.loadbalancer.sticky_session_force=0 #设置当多次请求未响应,请求将转发
worker.status.type=status
#
# end workers.properties
34、负载均衡集群配置(8):Apache配置——设置apache对项目的访问路径
修改/apache/conf/目录下的httpd.conf文件中的DocumentRoot和Directory值,将文件访问路径定位到tomcat的webapps文件夹,即待发布项目的存放位置,修改结果如下:
DocumentRoot "/usr/local/apache-tomcat-7.0.47/webapps"
Require all granted
Orderallow,deny
Allow from all
如此对apache的修改完成,加之tomcat设置了默认访问项目,此时就可以实现直接通过apache所在主机的IP地址来访问项目。(实际配置中,是否实现IP地址直接访问以实际需求为准)
35、负载均衡集群Session测试(1):创建测试工程SessionTest
① 新建一个Java Web工程SessionTest,在工程下新建index.jsp,文件内容如下:
<%@ pageimport="java.util.*" %>
<html>
<head>
<title> Session Testtitle>
head>
<body bgcolor="red">
<%
out.print("session Id:"+session.getId());
%>
<formaction="index.jsp" method="post">
key<input type="text" name="key"/>
<br />
value<input type="text"name="value" />
<br />
<input type="submit"value="Submit" />
<br />
form>
<%
String key =request.getParameter("key");
if(key!=null &&key.isEmpty()==false)
{
String value =request.getParameter("value");
session.setAttribute(key, value);
Enumeration e =session.getAttributeNames();
while (e.hasMoreElements())
{
String sKey = (String)e.nextElement();
String sValue = (String)session.getAttribute(sKey);
out.print(sKey+ " ="+sValue+"
");
}
}
%>
body>
html>
② 修改SessionTest的web.xml,在web.xml末尾的标签里添加
。
③ 将该项目放入同一组的tomcat的webapps下,并且使同一组的每个tomcat的项目中index.jsp的
颜色选用不同的颜色。(此处tomcat1为red,tomcat2为green)
36、负载均衡集群Session测试(2):session粘性测试
启动同组tomcat以及apache。浏览器访问apache所在的主机IP地址:http://172.18.145.201/, 显示如图一所示页面。从页面显示的session Id可以看出请求访问的是tomcat1。
多次刷新或submit后,请求访问的一直是tomcat1,并且session Id一直保持不变,session中的数据也能够保持,说明session粘性良好。
37、负载均衡集群Session测试(3):session复制测试
启动同组tomcat以及apache。浏览器访问apache所在的主机IP地址:http://172.18.145.201/,从页面显示的session Id可以看出请求访问的是tomcat1。提交几组session数据,显示结果如图一所示。
此时停掉tomcat1,再次提交session数据,或刷新页面,发现请求被转发给tomcat2,页面访问正常。页面颜色改变,但Session Id保持不变,session数据也全部传递给tomcat2,表明session复制良好。
38、 至此,apache+tomcat的负载均衡集群就全部配置完成了。如果想实现开机时负载集群服务自启动的话,可将如下内容添加至/etc/rc.d/rc.local文件末尾:
/usr/local/apache-tomcat-7.0.47/bin/catalina.shstart
/usr/local/apache/bin/apachectlstart