在海量并发的环境下,用户每一次请求服务器,都需要大量的创建线程,每一次的线程都必须分配资源(CPU、内存、带宽、磁盘 IO等),当资源不足的时候就会使得服务器宕机而无法提供服务。那么如何保证网站在流量峰值时能够顺利运作呢? 首先来介绍几个概念
见名知意,高(大量的),并发就是可以使用多个线程或者多个进程,同时处理(就是并发)不同的操作。简而言之就是每秒内有多少个请求同时访问。
负载均衡:将请求/数据【均匀】分摊到多个操作单元上执行,负载均衡的关键在于【均匀】,也是分布式系统架构设计中必须考虑的因素之一。
有 tomcat 的并发测试图可以发现,当每秒 300 个请求同时访问tomcat 时,tomcat 已经开始承受不住,出现波动。那么大型网站是如何处理高并发的呢?以下是高并发场景下,实现负载均衡的一个分布式架构图。
常见互联网分布式架构,分为客户端层、反向代理 nginx 层、站
点层、服务层、数据层。只需要实现“将 请求/ / 数据 均匀分摊到多个
操作单元上执行”,就能实现负载均衡
Nginx 是一款轻量级的 Web 服务器/ 反向代理服务器【后面有介绍】及电子邮件(IMAP/POP3)代理服务器。由俄罗斯的程序设计师Igor Sysoev 所开发,其特点是占有内存少,并发能力强,nginx 的并发能力确实在同类型的网页服务器中表现非常好。
•2004 年 10 月 4 日 第一个公开版本 0.1.0 发布。其将源代码以类 BSD 许可证的形式发布。
•官方测试 nginx 能够支撑 5 5 万并发链接,并且 CPU、内存等资
源消耗却非常低,运行非常稳定。
需要的依赖 gcc openssl-devel pcre-devel zlib-devel
安装的步骤 yum -y install gcc openssl-devel pcre-devel zlib-devel
解压 tar -zxvf nginx-1.8.1.tar.gz (这里是下载好的压缩包)
进入解压后的源码目录,然后执行 configure 命令进行配置(指定安装的位置)
./configure --prefix=/usr/soft/nginx
make && make install
安装好后,会在/usr/soft 下生成 nginx 目录(这是我编译前指定的),这个目录就是 nginx 的软件了。
启动命令 nginx_home/sbin/nginx
启动后,访问虚拟机的 80 端口,可查看到以下界面,Nginx 默认监听 80 端口,当出现以上信息,说明安装启动成功。
一旦 nginx 启动,就可以通过调用带有 -s 参数的可执行文件来控制它。使用语法: nginx -s 信号信号可以是下列之一:
stop 快速关机
quit 优雅的关机
reload 重新加载配置文件
reopen 重新打开日志文件
例如,要重新加载修改后的配置并重启,可以执行以下命令: nginx -s reload
#进程数,建议设置和 CPU 个数一样或 2 倍
worker_processes 2;
#日志级别
error_log logs/error.log warning;(默认 error 级别)
# nginx 启动后的 pid 存放位置
#pid logs/nginx.pid;
events {
#配置每个进程的连接数,总的连接数= worker_processes * worker_connections
# 根据物理内存大小来配置,默认 1024
worker_connections 10240;
}
http {
include mime.types;
default_type application/octet-stream;
sendfile on;
#连接超时时间,单位秒
keepalive_timeout 65;
server {
listen 80;
server_name localhost
#默认请求
location / {
root html; #定义服务器的默认网站根目录位置
index index.php index.html index.htm; #定义首页索引文件的名称
}
#定义错误提示页面
error_page 500 502 503 504 /50x.html;
location = /50x.html {
root html;
}
}
nginx 支持以下负载均衡机制(或方法):
a) 循环 - 对应用程序服务器的请求以循环方式分发,
b) 最少连接数 - 将下一个请求分配给活动连接数最少的服务器
c) ip-hash - 哈希函数用于确定下一个请求(基于客户端的 IP地址)应该选择哪个服务器。
使用 nginx 进行负载平衡的最简单配置可能如下所示:
http {
upstream sxt{
server 192.168.56.123:8080;
server 192.168.56.124:8080;
server 192.168.56.125:8080;
}
server {
listen 80;
server_name localhost;
location / {
proxy_pass http://sxt;
}
}
}
在上面的示例中,在upstream sxt 上配置的应用程序3 个实例。如果没有专门配置负载均衡方法,则默认为循环法。所有请求都被 代理到服务器组 sxt,并且 nginx 应用 HTTP 负载平衡来分发请求。
通过使用服务器权重,还可以进一步影响 nginx 负载均衡算法,谁的权重越大,分发到的请求就越多。下面如果有五次请求,那么123的tomcat会访问3次,这个适用于不同的硬件性能不一样的时候,性能好的权重应该更大.
upstream sxt {
server 192.168.56.123:8080 weigth=3;
server 192.168.56.124:8080;
server 192.168.56.125:8080;
}
在连接负载最少的情况下,nginx 会尽量避免将过多的请求分发给繁忙的应用程序服务器,而是将新请求分发给不太繁忙的服务器,避免服务器过载。
upstream sxt {
least_conn;
server 192.168.56.123:8080;
server 192.168.56.124:8080;
server 192.168.56.125:8080;
}
上述的循环或最少连接数的负载平衡方法,每个后续客户端的请求都可能被分发到不同的服务器。不能保证相同的客户端总是定向到相同的服务器。
如果需要将客户端绑定到特定的应用程序服务器 - 换句话说,就是始终选择相同的服务器而言,就要使客户端的会话“粘滞”或“持久” 。ip-hash 负载平衡机制就是有这种特性。使用 ip-hash,客户端的 IP 地址将用作散列键,以确定应该为客户端的请求选择服务器组中的哪台服务器。此方法可确保来自同一客户端的请求将始终定向到同一台服务器,除非此服务器不可用。
upstream sxt{
ip_hash;
server 192.168.56.123:8080;
server 192.168.56.124:8080;
server 192.168.56.125:8080;
}
Nginx 还可以对 IP 的访问进行控制,allow 代表允许,deny 代表禁止.Nginx不会遍历查找条件,而是找到第一个限制条件就行了,如192.168.78.1,就为禁止访问啦!
location / {
deny 192.168.78.1;
allow 192.168.78.1;
allow 192.168.78.0/24;
allow 10.1.1.0/16;
allow 192.168.1.0/32;
deny all;
proxy_pass http://sxt;
}
虚拟主机是指在网络服务器上分出一定的磁盘空间,用户可以租用此部分空间,以供用户放置站点及应用组件,提供必要的数据存放和传输功能。说白了虚拟主机就是把一台物理服务器划分成多个“虚拟”的服务器,各个虚拟主机之间完全独立,在外界看来,每一台虚拟主机和一台单独的主机的表现完全相同。所以这种被虚拟化的逻辑主机被形象地称为“虚拟主机”。
优点:
由于多台虚拟主机共享一台真实主机的资源,每个虚拟主机用户承受的硬件费用、网络维护费用、通信线路的费用均大幅度降低。许多企业建立网站都采用这种方法,这样不仅大大节省了购买机器和租用专线的费用,网站服务器服务器管理简单,诸如软件配置、防病毒、防攻击等安全措施都由专业服务商提供,大大简化了服务器管理的复杂性;同时也不必为使用和维护服务器的技术问题担心,更不必聘用专门的管理人员。
类别:
1、基于域名的虚拟主机,通过域名来区分虚拟主机
2、基于端口的虚拟主机,通过端口来区分虚拟主机
3、基于 ip 的虚拟主机,很少用
http {
upstream shsxt{
server 192.168.56.123:8080;
server 192.168.56.124:8080;
}
upstream bjsxt{
server 192.168.56.125:8080;
server 192.168.56.126:8080;
}
server {
listen 80;
//访问 sxt2.com 的时候,会把请求导到 bjsxt 的服务器组里
server_name sxt2.com;
location / {
proxy_pass http://bjsxt;
}
}
server {
listen 80;
//访问 sxt1.com 的时候,会把请求导到 shsxt 的服务器组里
server_name sxt1.com;
location / {
proxy_pass http://shsxt;
}
}
}
注意:基于域名的虚拟机主机 在模拟应用场景时,需要在 windows 系统的 hosts文件里配置域名映射。(C:\Windows\System32\drivers\etc\hosts)
如上图所示,将 sxt1 和 sxt2 的域名映射到 nginx 服务器 IP 上。启动 nginx 后,分别访问 sxt1.com ,sxt2.com
图 1
图 2
由图 1,图 2 可看出,当访问 sxt1.com 的时候,nginx 将请求分发给了 tomcat20 和 tomcat21当访问 sxt2.com 的时候,nginx 将请求分发给了 tomcat22.
http {
upstream shsxt{
server 192.168.56.123:8080;
server 192.168.56.124:8080;
}
upstream bjsxt{
server 192.168.56.125:8080;
server 192.168.56.126:8080;
}
server {
//当访问 nginx 的 80 端口时,将请求导给 bjsxt 组
listen 80;
server_name localhost;
location / {
proxy_pass http://bjsxt;
}
}
server {
//当访问 nginx 的 81 端口时,将请求导给 shsxt 组
listen 81;
server_name localhost;
location / {
proxy_pass http://shsxt;
}
}
}
当访问 nginx 的 80 端口时,请求被分发给了 tomcat20 和 tomcat21
当访问 nginx 的 81 端口时,请求被分发给了 tomcat22
正向代理
举个栗子:我是一个用户,我访问不了某网站,但是我能访问一个代理服务器,这个代理服务器呢,他能访问那个我不能访问的网站,于是我先连上代理服务器,告诉他我需要那个无法访问网站的内容,代理服务器去取回来,然后返回给我。像我们经常通过 访问国外的网站,此时就是正向代理。客户端必须设置正向代理服务器,当然前提是要知道正向代理服的 务器的 IP 地址,还有代理程序的端口。
再比如下面的:
反向代理
•反向代理(Reverse Proxy )方式是指以代理服务器来接受 internet上的连接请求,然后将请求转发给内部网络上的服务器,并将从服务器上得到的结果返回给 internet 上请求连接的客户端,此时代理服务器对外就表现为一个反向代理服务器
反向代理隐藏了真实的服务端,当我们请求 www.baidu.com 的时候,就像拨打 10086 一样,背后可能有成千上万台服务器为我们服务,但具体是哪一台,你不知道,也不需要知道,你只需要知道反向代理服务器是谁就好了,www.baidu.com 就是我们的反向代理服务器,反向代理服务器会帮我们把请求转发到真实的服务器那里去。Nginx 就是性能非常好的反向代理服务器,用来做负载均衡。
http 协议是无状态的,即你连续访问某个网页 100 次和访问 1次对服务器来说是没有区别对待的,因为它记不住你。那么,在一些场合,确实需要服务器记住当前用户怎么办?比如用户登录邮箱后接下来要收邮件、写邮件,总不能每次操作都让用户输入用户名和密码吧,为了解决这个问题session 的方案就被提了出来,事实上它并不是什么新技术,而且也不能脱离 http 协议以及任何现有的 web 技术session 的常见实现形式是会话cookie(session cookie),即未设置过期时间的cookie,这个cookie 的默认生命周期为浏览器会话期间,只要关闭浏览器窗口,cookie 就消失了。
首先我们应该明白,为什么要实现共享,如果你的网站是存放在一个机器上,那么是不存在这个问题的,因为会话数据就在这台机器,但是如果你使用了负载均衡把请求分发到不同的机器呢?这个时候会话 id 在客户端是没有问题的,但是如果用户的两次请求到了两台不同的机器,而它的 session 数据可能存在其中一台机器,这个时候
就会出现取不到 session 数据的情况,于是 session 的共享就成了一个问题
– 1、session 复制
– tomcat 本身带有复制 session 的功能。
– 2、共享 session
– 需要专门管理 session 的软件,
– memcached 缓存服务,可以和 tomcat 整合,帮助 tomcat共享管理 session。
查看memcached安装的位置: whereis memcached
验证安装: memcached -h /etc/rc.d/init.d/memcached status (这个是默认的位置)
查看配置文件: cat /etc/sysconfig/memcached
启动: memcached /etc/rc.d/init.d/memcached start
重启: memcached /etc/rc.d/init.d/memcached restart
web 服务器连接 memcached 的 jar 包拷贝到 tomcat 的 lib, 还可以在网上下载jar包,方法如下(要在tomcat的lib目录下):
wget http://dag.wieers.com/rpm/packages/rpmforge-release/rpmforge-release-0.5.2-2.rf.src.rpm
rpm -ivh rpmforge-release-0.5.2-2.rf.src.rpm
配置 memcachedNodes 属性,配置 memcached 数据库的 ip 和端口,默认 11211,多个的话用逗号隔开.目的?让tomcat 服务器从memcached缓存里面拿session 或者是放 session
<%@ page language="java" contentType="text/html;charset=UTF-8" pageEncoding="UTF-8"%>
SessionID:<%=session.getId()%>
SessionIP:<%=request.getServerName()%>
this is tomcat 1