我公司前段时间做了一个活动,花了5000块购买了5台虚拟机(每台cpu 为单核2GHZ,内存为1.5GB)做了一个两个月大活动,我设计支持高并发的系统如下:
活动的特点是高并发,逻辑不是很复杂,因此我采用DNS做负载均衡器+nginx做前端+php开发+redis数据库的分布式结构。
使用DNS负载均衡的原因是,我没有更多的钱买负载均衡,其次负载均衡至少得双机主备,再次DNS负载均衡不用部署配置,比lvs简单多了。
为了解决跨域的session问题,我使用了一个redis数据库来存储session的id,这样我的php程序得改成不读取本地session,而去读取redis中的session数据。可以实现跨域的session,不用担心分布式带来的session问题。
同时redis可以用作存储用户数据,例如微博id,生成图片路径等等信息,并发性要比mysql高得多。
为了解决redis单点故障,我添加了一个从redis数据库实时和主redis数据库进行同步,若是主数据库挂了,可以用从数据库来顶替

 

一次设计高可用网站的实战经验_第1张图片 

 

但是这个网站每台机器上都会生成各自的图片,而这些图片需要在网站上显示,这样的话存在一个问题:
某个用户是通过DNS只能请求到一台机器上(VM3)上,那么在网站上出现的VM2,VM4,VM5的图片就无法显示了。
我冥思苦想,想到了一个好办法:就是利用nginx的proxy模块来实现:
1)VM2上由程序生成的每一张的图片都存在目录(10.200.225.158--VM2的内网ip)下,VM3上由程序生成的每一张的图片都存在目录(10.200.226.56)下...
2) 这样VM2下的图片路径就是http://www.a.com/10.200.225.158/xxx.jpg,VM3下的图片就是http://www.a.com/10.200.226.56/xxx.jpg
3)我VM2上的nginx上配置使得:
    3.1)当用户被DNS解析到VM2上时,若URL是http://www.a.com/10.200.225.158/xxx.jpg时就直接读取本地图片
    3.2)当用户被DNS解析到VM2上时,若URL是http://www.a.com/10.200.226.56/xxx.jpg时就通过VM2代理读取远程的VM3上的图片
    3.3)当用户被DNS解析到VM2上时,若URL是http://www.a.com/10.200.55.39/xxx.jpg时就通过VM2代理读取远程的VM4上的图片
    3.4)当用户被DNS解析到VM2上时,若URL是http://www.a.com/110.200.51.143/xxx.jpg时就通过VM2代理读取远程的VM5上的图

 

一次设计高可用网站的实战经验_第2张图片

 

 

 

也就是说当www.a.com解析到vm2,若是要显示vm3上生成的图片的话,得通过vm2的代理去获取,由于我设置的代理的ip都是内网的,因此不占用外网ip的网络资源,不影响用户的访问速度。  


vm2的nginx配置文件如下

 

   
   
   
   
  1. location /10.200.226.56 {  
  2.              root    /opt/tmp/;  
  3.              proxy_redirect off ;  
  4.              proxy_set_header Host $host;  
  5.              proxy_set_header X-Real-IP $remote_addr;  
  6.              proxy_set_header REMOTE-HOST $remote_addr;  
  7.              proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;  
  8.              client_max_body_size 50m;  
  9.              client_body_buffer_size 256k;  
  10.              proxy_connect_timeout 30;  
  11.              proxy_send_timeout 30;  
  12.              proxy_read_timeout 60;  
  13.              proxy_buffer_size 256k;  
  14.              proxy_buffers 4 256k;  
  15.              proxy_busy_buffers_size 256k;  
  16.              proxy_temp_file_write_size 256k;  
  17.              proxy_next_upstream error timeout invalid_header http_500 http_503 http_404;  
  18.              proxy_max_temp_file_size 128m;  
  19.              proxy_pass    http://10.200.226.56:80;  
  20.                
  21. }  
  22.  
  23. location /10.200.55.39 {  
  24.              root    /opt/tmp/;  
  25.              proxy_redirect off ;  
  26.              proxy_set_header Host $host;  
  27.              proxy_set_header X-Real-IP $remote_addr;  
  28.              proxy_set_header REMOTE-HOST $remote_addr;  
  29.              proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;  
  30.              client_max_body_size 50m;  
  31.              client_body_buffer_size 256k;  
  32.              proxy_connect_timeout 30;  
  33.              proxy_send_timeout 30;  
  34.              proxy_read_timeout 60;  
  35.              proxy_buffer_size 256k;  
  36.              proxy_buffers 4 256k;  
  37.              proxy_busy_buffers_size 256k;  
  38.              proxy_temp_file_write_size 256k;  
  39.              proxy_next_upstream error timeout invalid_header http_500 http_503 http_404;  
  40.              proxy_max_temp_file_size 128m;  
  41.              proxy_pass    http://10.200.55.39:80;  
  42.                
  43. }  
  44. location /10.200.51.143 {  
  45.              root    /opt/tmp/;  
  46.              proxy_redirect off ;  
  47.              proxy_set_header Host $host;  
  48.              proxy_set_header X-Real-IP $remote_addr;  
  49.              proxy_set_header REMOTE-HOST $remote_addr;  
  50.              proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;  
  51.              client_max_body_size 50m;  
  52.              client_body_buffer_size 256k;  
  53.              proxy_connect_timeout 30;  
  54.              proxy_send_timeout 30;  
  55.              proxy_read_timeout 60;  
  56.              proxy_buffer_size 256k;  
  57.              proxy_buffers 4 256k;  
  58.              proxy_busy_buffers_size 256k;  
  59.              proxy_temp_file_write_size 256k;  
  60.              proxy_next_upstream error timeout invalid_header http_500 http_503 http_404;  
  61.              proxy_max_temp_file_size 128m;  
  62.              proxy_pass    http://10.200.51.143:80;  
  63.                
  64. }  
  65.  
  66. location ~ \.php$ {  
  67.            fastcgi_pass   127.0.0.1:9000;  
  68.            fastcgi_index  index.php;  
  69.            fastcgi_param  SCRIPT_FILENAME  $document_root/$fastcgi_script_name;  
  70.            include        fastcgi_params;