安装淘宝开源web服务器tengine替换nginx并使用proxy_cache做前端代理

简介
Tengine是由淘宝网发起的Web服务器项目。它在Nginx的基础上，针对大访问量网站的需求，添加了很多高级功能和特性。Tengine的性能和稳定性已经在大型的网站如淘宝网，天猫商城等得到了很好的检验。它的最终目标是打造一个高效、稳定、安全、易用的Web平台。

目前稳定版[2013-11-22] Tengine-1.5.2
特性
继承Nginx-1.2.9的所有特性，100%兼容Nginx的配置；
动态模块加载（DSO）支持。加入一个模块不再需要重新编译整个Tengine；
流式上传到HTTP后端服务器或FastCGI服务器，大量减少机器的I/O压力；
更加强大的负载均衡能力，包括一致性hash模块、会话保持模块，还可以对后端的服务器进行主动健康检查，根据服务器状态自动上线下线；
输入过滤器机制支持。通过使用这种机制Web应用防火墙的编写更为方便；
动态脚本语言Lua支持。扩展功能非常高效简单；
支持管道（pipe）和syslog（本地和远端）形式的日志以及日志抽样；
组合多个CSS、JavaScript文件的访问请求变成一个请求；
自动去除空白字符和注释从而减小页面的体积
自动根据CPU数目设置进程个数和绑定CPU亲缘性；
监控系统的负载和资源占用从而对系统进行保护；
显示对运维人员更友好的出错信息，便于定位出错机器；
更强大的防攻击（访问速度限制）模块；
更方便的命令行参数，如列出编译的模块列表、支持的指令等；
可以根据访问文件类型设置过期时间；
…

安装jemalloc可以增加性能

1. cd /root/src/toolkits/
2. wget http://www.canonware.com/download/jemalloc/jemalloc-3.4.1.tar.bz2
3. tar jxvf jemalloc-3.4.1.tar.bz2
4. cd jemalloc-3.4.1
5. ./configure --prefix=/usr/local/jemalloc-3.4.1
6. make && make install
7. ldconfig

GeoIP白名单

1. wget http://geolite.maxmind.com/download/geoip/api/c/GeoIP.tar.gz
2. tar -zxvf GeoIP.tar.gz
3. cd GeoIP-1.4.6
4. ./configure
5. make; make install
6. ldconfig

使用proxy_cache时增加purge模块

1. wget http://labs.frickle.com/files/ngx_cache_purge-2.1.tar.gz
2. tar zxvf ngx_cache_purge-2.1.tar.gz
3. --add-module=../ngx_cache_purge-2.1

后端nginx编译时需加上–with-http_realip_module以获取真实ip,并指定来源

1. set_real_ip_from   61.199.67.2; #前端ip
2. set_real_ip_from   192.168.0.111;#前端ip
3. real_ip_header     X-Real-IP;

编译安装tengine
jemalloc为编译路径

1. wget http://tengine.taobao.org/download/tengine-1.5.1.tar.gz
2. tar zxvf tengine-1.5.1.tar.gz
3. cd tengine-1.5.1
4. ./configure --user=www --group=website --prefix=/opt/tengine-1.5.1 --add-module=../ngx_cache_purge-2.1 --with-http_stub_status_module --with-http_ssl_module --with-http_realip_module  \
5. --with-http_concat_module=shared \
6. --with-http_sysguard_module=shared \
7. --with-http_limit_conn_module=shared \
8. --with-http_limit_req_module=shared \
9. --with-http_footer_filter_module=shared \
10. --with-http_upstream_ip_hash_module=shared \
11. --with-http_upstream_least_conn_module=shared \
12. --with-http_upstream_session_sticky_module=shared \
13. --with-jemalloc=/root/src/lempelf/packages/jemalloc-3.4.1
14. make
15. make install

GeoIp数据

1. cd  /opt/tengine-1.5.1/conf
2. wget http://geolite.maxmind.com/download/geoip/database/GeoLiteCountry/GeoIP.dat.gz
3. gunzip GeoIP.dat.gz
4.  
5. chgrp -R website /opt/tengine-1.5.1/conf
6. chmod -R 764 /opt/tengine-1.5.1/conf
7. chmod  774 /opt/tengine-1.5.1/conf

复制原nginx的配制文件于tengine

1. cd /opt/nginx/conf
2. cp awstats.conf fcgi.conf htpasswd block.conf nginx.conf /opt/tengine-1.5.1/conf/

检测配置文件

1. /opt/tengine-1.5.1/sbin/nginx -t -c /opt/tengine-1.5.1/conf/nginx.conf
2. nginx: [emerg] unknown directive "limit_zone" in /opt/tengine-1.5.1/conf/nginx.conf:71
3. nginx: [emerg] unknown directive "limit_conn" in /opt/tengine-1.5.1/conf/nginx.conf:136
4. 如果有以上错误,需去掉limit_conn配置,ngx_http_limit_conn_module 模块在新版已使用新指令

增加新的功能
vi /opt/tengine-1.5.1/conf/nginx.conf
根据cpu数量自动设定Tengine的worker进程数量，并进行cpu绑定。

1. worker_processes     auto;
2. worker_cpu_affinity  auto;

关闭系统信息

1. server_info off;
2. server_tag off;

ngx_http_sysguard_module
系统过载保护

1. sysguard on;
2.  
3.         sysguard_load load=10.5 action=/loadlimit;
4.         sysguard_mem swapratio=20% action=/swaplimit;
5.         sysguard_mem free=100M action=/freelimit;
6.  
7.         location /loadlimit {
8.             return 503;
9.         }
10.  
11.         location /swaplimit {
12.             return 503;
13.         }
14.  
15.         location /freelimit {
16.             return 503;
17.         }

ngx_http_limit_req_module
并发限制模块

1. limit_req_zone $binary_remote_addr zone=one:3m rate=1r/s;
2.     limit_req_zone $binary_remote_addr $uri zone=two:3m rate=1r/s;
3.     limit_req_zone $binary_remote_addr $request_uri zone=three:3m rate=1r/s;
4.  
5.     location / {
6.         limit_req zone=one burst=5;
7.         limit_req zone=two forbid_action=@test1;
8.         limit_req zone=three burst=3 forbid_action=@test2;
9.     }
10.  
11.     location /off {
12.         limit_req off;
13.     }
14.  
15.     location @test1 {
16.         rewrite ^ /test1.html;
17.     }
18.  
19.     location @test2 {
20.         rewrite ^  /test2.html;
21.     }

删除旧的nginx软链接,给tengine增加软链接
rm /opt/nginx
ln -s /opt/tengine-1.5.1 /opt/nginx

一个完整的nginx.conf

1. user  www website;
2.  
3. worker_processes     auto;
4. worker_cpu_affinity  auto;
5.  
6.  
7. error_log  /var/log/nginx/nginx_error.log  error;
8.  
9. pid        /dev/shm/nginx.pid;
10.  
11. #Specifies the value for maximum file descriptors that can be opened by this process.
12. worker_rlimit_nofile 51200;
13.  
14. dso {
15.      load ngx_http_footer_filter_module.so;
16.      load ngx_http_limit_conn_module.so;
17.      load ngx_http_limit_req_module.so;
18.      load ngx_http_sysguard_module.so;
19.      load ngx_http_upstream_ip_hash_module.so;
20.      load ngx_http_upstream_least_conn_module.so;
21.      load ngx_http_upstream_session_sticky_module.so;
22. }
23.  
24. events
25. {
26.      use epoll;
27.  
28.      worker_connections 51200;
29. }
30.  
31. http
32. {
33.      include       mime.types;
34.      default_type  application/octet-stream;
35.  
36.      log_format  access  '$remote_addr - $remote_user [$time_local] "$request" '
37.    '$status $body_bytes_sent "$http_referer" '
38.    '"$http_user_agent" $http_x_forwarded_for';
39.  
40.      open_log_file_cache max=1000 inactive=20s min_uses=2 valid=1m;
41.  
42.      server_names_hash_bucket_size 128;
43.  
44.      #linux 2.4+
45.      sendfile on;
46.      tcp_nopush     on;
47.      tcp_nodelay on;
48.  
49.      #tengine
50.      server_info off;
51.      server_tag off;
52.      #server_tag Apache;
53.      server_tokens off;
54.  
55.      server_name_in_redirect off;
56.  
57.      keepalive_timeout 60;
58.  
59.  
60.      client_header_buffer_size 16k;
61.      client_body_timeout 60;
62.      client_max_body_size 8m;
63.      large_client_header_buffers 4 32k;
64.  
65.      fastcgi_intercept_errors on;
66.      fastcgi_hide_header X-Powered-By;
67.      fastcgi_connect_timeout 180;
68.      fastcgi_send_timeout 180;
69.      fastcgi_read_timeout 180;
70.      fastcgi_buffer_size 128k;
71.      fastcgi_buffers 4 128K;
72.      fastcgi_busy_buffers_size 128k;
73.      fastcgi_temp_file_write_size 128k;
74.      fastcgi_temp_path /dev/shm;
75.  
76.      #open_file_cache max=51200 inactive=20s;
77.      #open_file_cache_valid    30s;
78.      #open_file_cache_min_uses 2;
79.      #open_file_cache_errors   off;
80.  
81.      gzip on;
82.      gzip_min_length  1k;
83.      gzip_comp_level 5;
84.      gzip_buffers     4 16k;
85.      gzip_http_version 1.1;
86.      gzip_types       text/plain application/x-javascript text/css application/xml;
87.      gzip_proxied any;
88.  
89.      limit_req_log_level error;
90.      limit_req_zone $binary_remote_addr $uri zone=two:30m rate=10r/s;
91.  
92.      #访问限制白名单
93.      geo $white_ip {
94.           #ranges;
95.           default 0;
96.           127.0.0.1/32 1;
97.           182.55.21.28/32 1;
98.           192.168.0.0/16 1;
99.           61.199.67.0/24 1;
100.      }
101.  
102.  
103.      client_body_buffer_size  512k;
104.      proxy_connect_timeout    5;
105.      proxy_read_timeout       60;
106.      proxy_send_timeout       5;
107.      proxy_buffer_size        16k;
108.      proxy_buffers            4 32k;
109.      proxy_busy_buffers_size 64k;
110.      proxy_temp_file_write_size 64k;
111.  
112.     
113.      #注：proxy_temp_path和proxy_cache_path指定的路径必须在同一分区
114.      proxy_temp_path   /opt/nginx/proxy_temp_dir;
115.      #设置Web缓存区名称为cache_www，内存缓存空间大小为3000MB，1天没有被访问的内容自动清除，硬盘缓存空间大小为30GB。
116.      proxy_cache_path  /opt/nginx/proxy_cache_www  levels=1:2   keys_zone=cache_www:3000m inactive=1d max_size=20g;
117.  
118.      upstream www_server {
119.      server   192.168.0.131:80;
120.      }
121.      server
122.      {
123.              listen       80 default;
124.              server_name  _;
125.              return 444;
126.              access_log  off;
127.      }
128.  
129.  
130.      server
131.      {
132.              listen       80;
133.              server_name  www.c1gstudio.com;
134.              index index.html index.htm index.php;
135.              root  /opt/htdocs/www;
136.              access_log  /var/log/nginx/proxy.www.c1gstudio.com.log  access buffer=24k;
137.  
138. if (-d $request_filename){
139. rewrite ^/(.*)([^/])$ http://$host/$1$2/ permanent;
140. }
141.  
142.      limit_req_whitelist geo_var_name=white_ip geo_var_value=1;
143.              limit_req zone=two burst=50 forbid_action=/visitfrequently.html;
144.  
145.              location @visitfrequently {
146.          rewrite ^ /visitfrequently.html;
147.              }
148.  
149.  
150.      location ~/\.ht {
151.          deny all;
152.      }
153.  
154.  
155.     #用于清除缓存，假设一个URL为http://192.168.8.42/test.txt，通过访问http://192.168.8.42/purge/test.txt就可以清除该URL的缓存。
156.     location ~ /purge(/.*)
157.     {
158.      #设置只允许指定的IP或IP段才可以清除URL缓存。
159.      allow            127.0.0.1;
160.      allow            192.168.0.0/16;
161.      deny            all;
162.      proxy_cache_purge    cache_www   $host$1$is_args$args;
163.      error_page 405 =200 /purge$1; #处理squidclient purge的时候出现的405错误
164.     }   
165.     if ( $request_method = "PURGE" ) {
166.      rewrite ^(.*)$ /purge$1 last;
167.     }
168.  
169.  
170.     location /
171.     {
172. error_page 502 504 /502.html;
173. proxy_set_header Host  $host;
174. #proxy_set_header X-Forwarded-For  $remote_addr;
175. proxy_set_header X-Real-IP $remote_addr;
176. proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
177. proxy_pass http://www_server;
178. add_header      X-Cache   Cache-Skip;
179.     }
180.     location ~ 404\.html$
181.     {
182. proxy_set_header Host  $host;
183. #proxy_set_header X-Forwarded-For  $remote_addr;
184. proxy_set_header X-Real-IP $remote_addr;
185. proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
186. proxy_pass http://www_server;
187. add_header      X-Cache   Cache-Skip;
188.     }
189.  
190.  
191.              location ~ .*\.(htm|html|)?$
192.              {
193. #如果后端的服务器返回502、504、执行超时等错误，自动将请求转发到upstream负载均衡池中的另一台服务器，实现故障转移。
194. proxy_next_upstream http_502 http_504 error timeout invalid_header;
195. proxy_cache cache_www;
196. #对不同的HTTP状态码设置不同的缓存时间
197. proxy_cache_valid  200 304 5m;
198. #以域名、URI、参数组合成Web缓存的Key值，Nginx根据Key值哈希，存储缓存内容到二级缓存目录内
199. proxy_cache_key $host$uri$is_args$args;
200. proxy_set_header Host  $host;
201. proxy_http_version 1.1;
202. #proxy_set_header X-Forwarded-For  $remote_addr;
203. proxy_set_header X-Real-IP $remote_addr;
204. proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
205. proxy_pass http://www_server;
206. #支持后台expires
207. proxy_ignore_headers "Cache-Control" "Expires";
208. add_header      X-Cache   Cache;
209.              }
210.  
211.      location ~* ^.+\.(jpg|jpeg|gif|png|rar|zip|css|js)$ {
212. valid_referers none blocked *.c1gstudio.com;
213. if ($invalid_referer) {
214.     rewrite ^/ http://leech.c1gstudio.com/leech.gif;
215.     return 412;
216.     break;
217. }
218.                  access_log   off;
219. #如果后端的服务器返回502、504、执行超时等错误，自动将请求转发到upstream负载均衡池中的另一台服务器，实现故障转移。
220. proxy_next_upstream http_502 http_504 error timeout invalid_header;
221. proxy_cache cache_www;
222. #对不同的HTTP状态码设置不同的缓存时间
223. proxy_cache_valid  200 304 5m;
224. #以域名、URI、参数组合成Web缓存的Key值，Nginx根据Key值哈希，存储缓存内容到二级缓存目录内
225. proxy_cache_key $host$uri$is_args$args;
226. proxy_set_header Host  $host;
227. proxy_http_version 1.1;
228. #proxy_set_header X-Forwarded-For  $remote_addr;
229. proxy_set_header X-Real-IP $remote_addr;
230. proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
231. proxy_pass http://www_server;
232. #支持后台expires
233. proxy_ignore_headers "Cache-Control" "Expires";
234. add_header      X-Cache   Cache;
235.      }
236.  
237.      }
238.  
239.  
240. }

启动tengine
/opt/nginx/sbin/nginx

观察了下top降低了许多