此文凝聚笔者不少心血请尊重笔者劳动,转载请注明出处。违法直接人肉出电话 写大街上。

http://freeze.blog.51cto.com/
个人小站刚上线

http://www.linuxwind.com

有问题还可以来QQ群89342115交流。

 


 

今儿网友朋友说:freeze黔驴技穷了,博客也不更新,也不跟网友互动了.

.
..
...
那好吧,我就来一篇重量级的..这篇就叫做
《手把手让你实现开源企业级web高并发解决方案》
(lvs+heartbeat + varnish+nginx+eAccelerator +memcached)

本来想起个比较风趣点的标题,可想来思去,还是走常规路线,做一系列的手把手吧。
这样一来,便于我的老朋友们识别,也让我对这篇文章的粒度把我有个定位。
 
本篇博文主要介绍利用开源的解决方案,来为企业搭建web高并发服务器架构花了一个多小时,画了张图片,希望能先帮你理解整个架构,之后我在一一介绍.linux的大型架构其实是一点点小架构拼接起来的,笔者从各个应用开始配置,最后在完全整合起来,以实现效果。
 

 

手把手让你实现开源企业级web高并发解决方案(lvs+heartbeat+varnish+nginx+eAccelerator+memcached)_第1张图片


笔者所使用的环境为RHEL5.4 内核版本2.6.18 实现过程在虚拟机中,所用到的安装包为DVD光盘自带rpm包

装过 Development Libraries  Development Tools 包组 

 笔者虚拟机有限,只演示单边varnish配置





 

一、配置前端LVS负载均衡

笔者选用LVS的DR模型来实现集群架构,如果对DR模型不太了了解的朋友建议先去看看相关资料。 

本模型实例图为:

手把手让你实现开源企业级web高并发解决方案(lvs+heartbeat+varnish+nginx+eAccelerator+memcached)_第2张图片

   现在director上安装ipvsadm,笔者yum配置指向有集群源所以直接用yum安装。

yum install ipvsadm

手把手让你实现开源企业级web高并发解决方案(lvs+heartbeat+varnish+nginx+eAccelerator+memcached)_第3张图片

下面是Director配置:

       DIP配置在接口上 172.16.100.10

        VIP配置在接口别名上:172.16.100.1

    varnish服务器配置:RIP配置在接口上:172.16.100.11 ;VIP配置在lo别名上

如果你要用到下面的heartbeat的ldirectord来实现资源转换,则下面的# Director配置 不用配置

 

   
   
   
   
  1. # Director配置
  2. ifconfig eth0 172.16.100.10/16 
  3. ifconfig eth0:0 172.16.100.1 broadcast 172.16.100.1 netmask 255.255.255.255 up 
  4. route add -host 172.16.100.1 dev eth0:0 
  5. echo 1 > /proc/sys/net/ipv4/ip_forward 
   
   
   
   
  1. # varnish服务器修改内核参数来禁止响应对VIP的ARP广播请求 
  2. echo 1 > /proc/sys/net/ipv4/conf/lo/arp_ignore 
  3. echo 1 > /proc/sys/net/ipv4/conf/all/arp_ignore 
  4. echo 2 > /proc/sys/net/ipv4/conf/lo/arp_announce 
  5. echo 2 > /proc/sys/net/ipv4/conf/all/arp_announce 
   
   
   
   
  1. # 配置VIP 
  2. ifconfig lo:0 172.16.100.1 broadcast 172.16.100.1 netmask 255.255.255.255 up 
  3. # 凡是到172.16.100.1主机的一律使用lo:0响应 
  4. route add -host 172.16.100.1 dev lo:0  
   
   
   
   
  1. # 在Director上配置Ipvs,笔者虚拟机有限,只演示单台配置
  2. ipvsadm -A -t 172.16.100.1:80 -s wlc 
  3. ipvsadm -a -t 172.16.100.1:80 -r 172.16.100.11 -g -w 2 
  4. ipvsadm -Ln 

 

至此,前端lvs负载均衡基本实现,下面配置高可用集群




 PS:如果用ldirectord把lvs定义为资源的话,前面

二、heartbeat高可用集群

本应用模型图:

手把手让你实现开源企业级web高并发解决方案(lvs+heartbeat+varnish+nginx+eAccelerator+memcached)_第4张图片

高可用则是当主服务器出现故障,备用服务器会在最短时间内代替其地位,并且保证服务不间断。

 简单说明:从服务器和主服务器要有相同配置,才能在故障迁移时让×××感受不到,从而保证服务不间断运行。在你的两台机器(一台 作为主节点,另一台为从节点)上运行heartbeat, 并配置好相关的选项,最重要的是lvs资源一定要配置进去。那么开始时主节点提供lvs服务,一旦主节点崩溃,那么从节点立即接管lvs服务。

SO:

director主服务器和从服务器都有两块网卡,一块eth0是和后面varnish服务器通信,另一块eth1是彼此之间监听心跳信息和故障迁移是资源转移。笔者用的eth0是172.16.100.0网段 vip为172.16.100.1 监听心跳为eth1网卡,主从的IP分别为10.10.10.1(node1) 和10.10.10.2(node2)

 修改上面模型图两台主从服务器的信息

   
   
   
   
  1. vim /etc/hosts 
  2. 10.10.10.1    node1.heartbeat.com         node1 
  3. 10.10.10.2    node2.heartbeat.com        node2 
  4. #用于实现两台director节点间域名解析,此操作node1、node2相同 
   
   
   
   
  1. vim /etc/sysconfig/network 
  2. #设置主机名 
  3. hostname node1.heartbeat.com  
  4. #修改主机名使之立即生效,node2也同样修改为node2.heartbeat.com

 为了安全起见,node1和node2的通信需要加密进行

  1. ssh-keygen -t rsa 
  2. #生成密钥 
  3. ssh-copy-id -i .ssh/id_rsa.pub root@node2.heartbeat.com
  4. #将公钥复制给node2 
  5. ssh node2 -- ifconfig
  6. #执行命令测试,此时应该显示node2的ip信息 

 准备工作完成,下面开始安装heartbeat和ldirectord

所需要的安装包为

heartbeat安装包

本人直接用yum来实现,能自动解决依赖关系node1和node2都需要安装

  1. yum localinstall -y --nogpgcheck ./* 
  2. #安装此目录中的所有rpm包 

 安装后配置:

   
   
   
   
  1. cd /usr/share/doc/heartbeat-2.1.4 
  2. cp authkeys /etc/ha.d/ 
  3. cp haresources /etc/ha.d/ 
  4. cp ha.cf /etc/ha.d/ 
  5. #拷贝heartbeat所需配置文件到指定目录下 
   
   
   
   
  1. vim /etc/ha.d/ha.cf 
  2. bcast eth1 
  3. #定义心跳信息从那一块网卡传输 
  4. node node1.heartbeat.com
  5. node node2.heartbeat.com
  6. #添加这两行,用于指明心跳信号传输范围 
  7. vim /etc/ha.d/authkeys 
  8. auth 2 
  9. 2 sha1 [键入随机数] 
  10. chmod 400 authkeys 
  11. #保存退出并修改权限400 
  12. vim /etc/ha.d/haresource 
  13. node1.heartbeat.com         172.16.100.1/24/eth0/172.16.0.255 ldirectord::ldirectord.cf httpd
  14. #末行添加主节点域名,vip资源,广播地址,ldirectord资源,以及用户提供显示错误页面的httpd资源

同步配置文件到node2

   
   
   
   
  1. /usr/lib/heartbeat/ha_propagate 
  2. #脚本用来同步ha.cf和authkeys文件到node2 
  3. scp haresources node2:/etc/ha.d/ 
  4. #复制haresource到nod2 

 

 配置ldirectord,同步配置文件

   
   
   
   
  1. cp /usr/share/doc/heartbeat-ldirectord-2.1.4/ldirectord.cf /etc/ha.d/ldirectord.cf 
  2. #复制ldirector的配置文件 

 内容如下配置

   
   
   
   
  1. checktimeout=5 
  2. #当DR收不到realserver的回应,设定几秒后判定realserver当机或挂掉了,预设5秒。 
  3. checkinterval=3 
  4. #查询间隔,每个几秒侦测一次realserver 
  5. autoreload=yes 
  6. #配置文件发生改变是否自动重读 
  7. quiescent=yes 
  8. #静态链接,yes:表示侦测realserver宕机,将其权值至零(如果开启了persistent参数不要用yes);no:表示侦测到宕机realserver,随即将其对应条目从ipvsadm中删除。 
  9. virtual=172.16.100.1:80 
  10.         real=172.16.100.11:80 gate 4 
  11.         fallback=127.0.0.1:80 gate #realserver全部失败,vip指向本机80端口。 
  12.         service=http 
  13.         request="test.html" #用于健康检测的url,realserver的相对路径为var/www/html目录
  14.         receive="ok"    #用于健康检测的url包含的关键字 
  15.         scheduler=wlc 
  16.         #persistent=600 
  17.         #持久链接:表示600s之内同意ip将访问同一台realserver 
  18.         protocol=tcp 
  19.         checktype=negotiate 
  20.         #检查类型:negotiate,表示DR发送请求,realserver恢复特定字符串才表示服务正常;connect,表示DR能够连线realserver即正常。 
  21.         checkport=80 

启动两个节点上的heartbeat

   
   
   
   
  1. service heartbeat start 
  2. ssh node2 -- 'service heartbeat start' 
  3. #启动两节点heartbeat服务  

 启动后查看/var/log/messages 可以看到启动过程,并可以手动执行/usr/lib/heartbeat/下的hb_standby 来释放资源hb_takeover来争夺资源

还可以通过ipvsadm -Ln 在主节点上查看lvs的资源状态

手把手让你实现开源企业级web高并发解决方案(lvs+heartbeat+varnish+nginx+eAccelerator+memcached)_第5张图片

 

手把手让你实现开源企业级web高并发解决方案(lvs+heartbeat+varnish+nginx+eAccelerator+memcached)_第6张图片

至此,带状态检测的前端集群已经布置完毕,下面就是varnish缓存服务器和后端nginx的web应用配置

 

 

 


 


三:varnish缓存服务器

有些朋友可能对varnish不太熟悉,简单做个介绍:

     今天写的这篇关于Varnish的文章,已经是一篇可以完全替代Squid做网站缓存加速器的详细解决方案了。网上关于Varnish的资料很少,中文资料更是微乎其微,希望本文能够吸引更多的人研究、使用Varnish。

  在我看来,使用Varnish代替Squid的理由有三点:
1、Varnish采用了“Visual Page Cache”技术,在内存的利用上,Varnish比Squid具有优势,它避免了Squid频繁在内存、磁盘中交换文件,性能要比Squid高。
2、Varnish的稳定性还不错,顺便说一句,Varnish的性能的发挥关键在于Varnish配置文档的优化.
3、通过Varnish管理端口,可以使用正则表达式快速、批量地清除部分缓存,这一点是Squid不能具备的
    4. 还有一点,应该算是Varnish的缺点了吧,就是Varnish的缓存基本上在内存中,如果Varnish进程停止再启动,Varnish就会重新访问后端Web服务器,再一次进行缓存.虽然Squid性能没有Varnish高,但它停止、重启的时候,可以直接先从磁盘读取缓存数据。

    varnish是一款高性能的开源HTTP加速器,挪威最大的在线报纸 Verdens Gang (http://www.vg.no) 使用3台Varnish代替了原来的12台squid,性能比以前更好。

    varnish的作者Poul-Henning Kamp是FreeBSD的内核开发者之一,他认为现在的计算机比起1975年已经复杂许多。在1975年时,储存媒介只有两种:内存与硬盘。但现在计算机系统的内存除了主存外,还包括了cpu内的L1、L2,甚至有L3快取。硬盘上也有自己的快取装置,因此squid cache自行处理物件替换的架构不可能得知这些情况而做到最佳化,但操作系统可以得知这些情况,所以这部份的工作应该交给操作系统处理,这就是 Varnish cache设计架构.

 

    现在大多数网站都抛弃了 Apache,而选择nginx是因为前者能承受的并发连接相对较低;
抛弃了 Squid,因为它在内存利用、访问速度、并发连接、清除缓存等方面不如 Varnish;
抛弃了 PHP4,因为 PHP5 处理面向对象代码的速度要比 PHP4 快,另外,PHP4 已经不再继续开发;
抛弃了 F5 BIG-IP 负载均衡交换机,F5 虽然是个好东西,但由于价格不菲,多个部门多个产品都运行在其之上,流量大、负载高,从而导致性能大打折扣;

  利用 Varnish cache 减少了90%的数据库查询,解决了MySQL数据库瓶颈;
利用 Varnish cache 的内存缓存命中加快了网页的访问速度;
利用 Nginx + PHP5(FastCGI) 的胜过Apache 10倍的高并发性能,以最少的服务器数量解决了PHP动态程序访问问题;
利用 Memcached 处理实时数据读写;
利用 HAProxy 做接口服务器健康检查;

  经过压力测试,每台Web服务器能够处理3万并发连接数,承受4千万PV完全没问题。


手把手让你实现开源企业级web高并发解决方案(lvs+heartbeat+varnish+nginx+eAccelerator+memcached)_第7张图片

 可以去varnish的官网下载最新的源码包,笔者为了便于演示,就用rpm包了,(别鄙视我)

varnish官网地址:http://www.varnish-cache.org/

我下的是最新的varnish-release-3.0-1.noarch.rpm

先rpm -ivh varnish-release-3.0-1.noarch.rpm

它的作用是给你yum生成varnish的仓库,然后你在用yum安装varnish

yum install varnish

 

手把手让你实现开源企业级web高并发解决方案(lvs+heartbeat+varnish+nginx+eAccelerator+memcached)_第8张图片

安装好后配置文件为/etc/default.vcl 

本人只实现基本功能,没有对varnish做优化,所以配置比较简单

 

手把手让你实现开源企业级web高并发解决方案(lvs+heartbeat+varnish+nginx+eAccelerator+memcached)_第9张图片

配置完成后保存退出,需手动启动

varnishd -f /etc/varnish/default.vcl -s malloc,128m -T 127.0.0.1:2000

-f etc/varnish/default.vcl     -f 指定varnishd使用哪个配置文件。

-s malloc,1G                                                -s用来指定varnish使用的存储类型和存储容量。我使用的是 malloc 类型(malloc 是一个 C 函数,用于分配内存空间),  1G  定义多少内存被 malloced。

-T 127.0.0.1:2000                                        -T 指定varnish的管理端口。Varnish有一个基于文本的管理接口,启动它的话可以在不停止 varnish 的情况下来管理 varnish。您可以指定管理软件监听哪个接口。

-a 0.0.0.0:8080                                             指定varnish所监听所有IP发给80的http请求。如果不指定-a ,则为默认监听0.0.0.0:

ps:先配置nginx在配置varnish可以直接测试效果,本人为了演示架构层次,所以就一层一层的配置了,建议如果按我的顺序做的话,后端web服务器先用yum装上apache方便测试。varnish到此就配置成功。到此我在帮各位顺一下思路

 

 

目前,如果你完全按照本文章做实验,我们用了5台服务器。

一台director 它的vip为172.16.100.1  DIP为172.16.100.10

与它实现高可用的从服务器vip为172.16.100.1 DIP为 172.16.100.12 

而这两台服务器都装的有heartbeat和ipvsadm 并通过ldirectord把VIP定义为资源,会自动流动,和自动添加ipvsadm分发条目

在ipvsadm中 定义的有一台varnish服务器 地址为172.16.100.11

varnish缓存服务器在做反向代理时后端是两台web服务器分别为web1和web2

IP分别为172.16.100.15和172.16.100.17 下图帮你顺下思路

 

 

手把手让你实现开源企业级web高并发解决方案(lvs+heartbeat+varnish+nginx+eAccelerator+memcached)_第10张图片

 


 


 


四:nginx服务器+php+eAccelerator

(1)编译安装PHP 5.3.6所需的支持库:

   
   
   
   
  1. tar zxvf libiconv-1.13.1.tar.gz 
  2. cd libiconv-1.13.1/ 
  3. ./configure --prefix=/usr/local 
  4. make 
  5. make install 
  6. cd ../ 
   
   
   
   
  1. tar zxvf libmcrypt-2.5.8.tar.gz  
  2. cd libmcrypt-2.5.8/ 
  3. ./configure 
  4. make 
  5. make install 
  6. /sbin/ldconfig 
  7. cd libltdl/ 
  8. ./configure --enable-ltdl-install 
  9. make 
  10. make install 
  11. cd ../../ 
   
   
   
   
  1. tar zxvf mhash-0.9.9.9.tar.gz 
  2. cd mhash-0.9.9.9/ 
  3. ./configure 
  4. make 
  5. make install 
  6. cd ../ 
   
   
   
   
  1. ln -s /usr/local/lib/libmcrypt.la /usr/lib/libmcrypt.la 
  2. ln -s /usr/local/lib/libmcrypt.so /usr/lib/libmcrypt.so 
  3. ln -s /usr/local/lib/libmcrypt.so.4 /usr/lib/libmcrypt.so.4 
  4. ln -s /usr/local/lib/libmcrypt.so.4.4.8 /usr/lib/libmcrypt.so.4.4.8 
  5. ln -s /usr/local/lib/libmhash.a /usr/lib/libmhash.a 
  6. ln -s /usr/local/lib/libmhash.la /usr/lib/libmhash.la 
  7. ln -s /usr/local/lib/libmhash.so /usr/lib/libmhash.so 
  8. ln -s /usr/local/lib/libmhash.so.2 /usr/lib/libmhash.so.2 
  9. ln -s /usr/local/lib/libmhash.so.2.0.1 /usr/lib/libmhash.so.2.0.1 
  10. ln -s /usr/local/bin/libmcrypt-config /usr/bin/libmcrypt-config 
   
   
   
   
  1. tar zxvf mcrypt-2.6.8.tar.gz 
  2. cd mcrypt-2.6.8/ 
  3. /sbin/ldconfig 
  4. ./configure 
  5. make 
  6. make install 
  7. cd ../ 

 

   
   
   
   
  1. cd php-5.3.6

    ./configure --prefix=/usr/local/php-fcgi --enable-fpm --with-config-file-path=/usr/local/php-fcgi/etc --enable-zend-multibyte  --with-libxml-dir=/usr/local/libxml2 --with-gd --with-jpeg-dir --with-png-dir --with-bz2 --with-freetype-dir --with-iconv-dir --with-zlib-dir --with-curl --with-mhash --with-openssl --enable-bcmath --with-mcrypt=/usr/local/libmcrypt --enable-sysvsem --enable-inline-optimization --enable-soap --enable-gd-native-ttf --enable-ftp --enable-mbstring --enable-exif --disable-debug --disable-ipv6

    make

    make install

    cp php.ini-production /usr/local/php-fcgi/etc/php.ini

    mkdir /usr/local/php-fcgi/ext



 编译安装PHP5扩展模块

 

手把手让你实现开源企业级web高并发解决方案(lvs+heartbeat+varnish+nginx+eAccelerator+memcached)_第11张图片

字数满了,余下内容在下一篇