1、创建vnish用户和组,以及Varnish缓存文件存放目录(/var/vcache):
/usr/sbin/groupadd vnish -g 48
/usr/sbin/useradd -u 48 -g vnish vnish
mkdir -p /var/vcache
chmod +w /var/vcache
chown -R vnish:vnish /var/vcache
2、创建Varnish日志目录(/var/logs/):
mkdir -p /var/logs
chmod +w /var/logs
chown -R vnish:vnish /var/logs
3、编译安装varnish:
varnish-3.0.7版本都会出错,varnish-3.0.2可以,还是使用旧版本的吧 http://repo.varnish-cache.org/source/varnish-3.0.2.tar.gz wget http://repo.varnish-cache.org/source/varnish-3.0.2.tar.gz tar zxvf varnish-1.1.2.tar.gz cd varnish-1.1.2 ./configure --prefix=/usr/local/varnish make && make install 安装成功后,安装的目录是 cd /usr/local/varnish/sbin ./varnishd -V 查看版本,看是否安装成功
安装出错,这是缺少了依赖包
解决方式:安装依赖包 yum -y install automake autoconf libtool ncurses-devel libxslt groff pcre-devel pkgconfig^C
make[3]: *** [varnishadm-varnishadm.o] Error 1 make[3]: Leaving directory `/root/lnmp/src/varnish-3.0.4/bin/varnishadm' make[2]: *** [all-recursive] Error 1 make[2]: Leaving directory `/root/lnmp/src/varnish-3.0.4/bin' make[1]: *** [all-recursive] Error 1 make[1]: Leaving directory `/root/lnmp/src/varnish-3.0.4' make: *** [all] Error 2
要注意通过git签出的版本会比一般情况需要更多依赖包,尤其是Python Docutils和Sphinx。 ① 所需要的依赖包(是的,上面那条命令已经包含了全部了) automake autoconf libtool ncurses-devel libxslt groff pcre-devel pkgconfig
varnish配置文件:
(3.0.2版本的文件的vcl配置文件,默认的是/usr/local/varnish/etc/varnish/default.vcl且为全注释掉的文件)# This is a basic VCL configuration file for varnish. See the vcl(7)
针对搜索引擎的缓存设置:
if (req.http.User-Agent ~ "(yandexbot|baiduspider|sosospider)") { error 403 "forbidden"; 这里自定义}
backend webserver { .host = "127.0.0.1"; .port = "8080"; .connect_timeout = 20s; .first_byte_timeout = 20s; .between_bytes_timeout = 20s; } acl purge { "localhost"; "127.0.0.1"; } sub vcl_recv { #刷新缓存的处理 if (req.request == "PURGE") { if (!client.ip ~ purge) { error 405 "Not allowed."; } #转到hit或者miss处理 return(lookup); } #判断请求主机,跳转到相应后端服务器 if (req.http.host ~ "^(.*)(aaaa.com|bbbb.com)$") { set req.backend = webserver; if (req.request != "GET" && req.request != "HEAD") { return(pipe); } else { return(lookup); } } else { error 404 " Cache Server"; return(lookup); } #grace缓存过期仍存放 # 若backend是健康的,则仅grace 5s,如果backend不健康,则grace 1m。 # 这里,5s的目的是为了提高高并发时的吞吐率; # 1m的目的是,backend挂了之后,还能继续服务一段时间,期望backend挂的不要太久。。。 if (req.backend.healthy) { set req.grace = 5s; } else { set req.grace = 1m; } #刷新缓存的处理 if (req.request == "PURGE"){ if(!client.ip ~ purge) { error 405 "Not allowed."; } # #转到hit或者miss处理 return (lookup); } #移除一些特定格式的cookie if (req.url ~ "^(.*)\.(jpg|png|gif|jpeg|flv|bmp|gz|tgz|bz2|tbz|js|css|html|htm)($|\?)" ) { #移除cookie,以便能缓存到varnish unset req.http.cookie; } #Accept-Encoding 是浏览器发给服务器,声明浏览器支持的编码类型的 #修正客户端的Accept-Encoding头信息 #防止个别浏览器发送类似 deflate, gzip if (req.http.Accept-Encoding) { if (req.url ~ "^(.*)\.(jpg|png|gif|jpeg|flv|bmp|gz|tgz|bz2|tbz)($|\?)" ) { remove req.http.Accept-Encoding; }else if (req.http.Accept-Encoding ~ "gzip"){ set req.http.Accept-Encoding = "gzip"; } else if (req.http.Accept-Encoding ~ "deflate"){ set req.http.Accept-Encoding = "deflate"; } else if (req.http.Accept-Encoding ~ "sdch"){ #chrome新增加的压缩 set req.http.Accept-Encoding = "sdch"; }else { remove req.http.Accept-Encoding; } } #首次访问增加X-Forwarded-For头信息,方便后端程序获取客户端ip if (req.restarts == 0) { if (req.http.x-forwarded-for) { set req.http.X-Forwarded-For = req.http.X-Forwarded-For + ", " + client.ip; } else { set req.http.X-Forwarded-For = client.ip; } } if (req.request != "GET" && req.request != "HEAD" && req.request != "PUT" && req.request != "POST" && req.request != "TRACE" && req.request != "OPTIONS" && req.request != "DELETE") { return (pipe); } if (req.request != "GET" && req.request != "HEAD") { /* We only deal with GET and HEAD by default */ return (pass); } if (req.http.Authorization) { /* Not cacheable by default */ return (pass); } #js,css文件都有Cookie,不能每次都去后台服务器去取 #if (req.http.Cookie) { # /* Not cacheable by default */ # return (pass); #} #如果请求的是动态页面直接转发到后端服务器 if (req.url ~ "^(.*)\.(php|jsp|do|aspx|asmx|ashx)($|.*)") { return (pass); } return (lookup); } sub vcl_pipe { # Note that only the first request to the backend will have # X-Forwarded-For set. If you use X-Forwarded-For and want to # have it set for all requests, make sure to have: # set bereq.http.connection = "close"; # here. It is not set by default as it might break some broken web # applications, like IIS with NTLM authentication. return (pipe); } #放过,让其直接去后台服务器请求数据 sub vcl_pass { return (pass); } sub vcl_hash { hash_data(req.url); if (req.http.host) { hash_data(req.http.host); } else { hash_data(server.ip); } #支持压缩的要增加,防止发送给不支持压缩的浏览器压缩的内容 if(req.http.Accept-Encoding){ hash_data(req.http.Accept-Encoding); } return (hash); } #缓存服务器lookup查找命中:hit sub vcl_hit { #刷新缓存的请求操作,设置TTL为0,返回处理结果代码 if (req.request == "PURGE") { set obj.ttl = 0s; error 200 "Purged."; } #缓存服务器命中后(查找到了) return (deliver); } #缓存服务器lookup查找没有命中:miss sub vcl_miss { #刷新缓存的请求操作, #if (req.request == "PURGE") { # error 404 "Not in cache."; #} #缓存服务器没有命中(去后台服务器取) return (fetch); } #从后台服务器取回数据后,视情况是否进行缓存 sub vcl_fetch { #如果请求的是动态页面直接发转发 #动态请求回来的,一定要放在前面处理 if (req.url ~ "^(.*)\.(php|jsp|do|aspx|asmx|ashx)($|.*)") { set beresp.http.Cache-Control="no-cache, no-store"; unset beresp.http.Expires; return (deliver); } # 仅当该请求可以缓存时,才设置beresp.grace,若该请求不能被缓存,则不设置beresp.grace if (beresp.ttl > 0s) { set beresp.grace = 1m; } if (beresp.ttl <= 0s || beresp.http.Set-Cookie || beresp.http.Vary == "*") { /* * Mark as "Hit-For-Pass" for the next 2 minutes */ set beresp.ttl = 120 s; #下次请求时不进行lookup,直接pass return (hit_for_pass); } #设置从后台服务器获得的特定格式文件的缓存TTL if (req.url ~ "^(.*)\.(pdf|xls|ppt|doc|docx|xlsx|pptx|chm|rar|zip)($|\?)") { #移除服务器发送的cookie unset beresp.http.Set-Cookie; #加上缓存时间 set beresp.ttl = 30d; return (deliver); }else if(req.url ~ "^(.*)\.(bmp|jpeg|jpg|png|gif|svg|png|ico|txt|css|js|html|htm)($|\?)"){ #移除服务器发送的cookie unset beresp.http.Set-Cookie; #加上缓存时间 set beresp.ttl = 15d; return (deliver); }else if(req.url ~ "^(.*)\.(mp3|wma|mp4|rmvb|ogg|mov|avi|wmv|mpeg|mpg|dat|3pg|swf|flv|asf)($|\?)"){ #移除服务器发送的cookie unset beresp.http.Set-Cookie; #加上缓存时间 set beresp.ttl = 30d; return (deliver); } #从后台服务器返回的response信息中,没有缓存的,不缓存 if (beresp.http.Pragma ~"no-cache" || beresp.http.Cache-Control ~"no-cache" || beresp.http.Cache-Control ~"private") { return (deliver); } return (deliver); } #缓存服务器发送到客户端前调用 sub vcl_deliver { #下面是添加一个Header标识,以判断缓存是否命中。 if (obj.hits > 0) { set resp.http.X-Cache = "HIT from cache"; #set resp.http.X-Varnish = "HIT from cache"; } else { set resp.http.X-Cache = "MISS from cache"; #set resp.http.X-Varnish = "MISS from cache"; } #去掉不是必须的header unset resp.http.Vary; unset resp.http.X-Powered-By; unset resp.http.X-AspNet-Version; return (deliver); } sub vcl_error { set obj.http.Content-Type = "text/html; charset=utf-8"; set obj.http.Retry-After = "5"; synthetic {" <?xml version="1.0" encoding="utf-8"?> <!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Strict//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-strict.dtd"> <html> <head> <title>"} + obj.status + " " + obj.response + {"</title> </head> <body> <h1>Error "} + obj.status + " " + obj.response + {"</h1> <p>"} + obj.response + {"</p> <h3>Guru Meditation:</h3> <p>XID: "} + req.xid + {"</p> <hr> <p>cache server</p> </body> </html> "}; return (deliver); } sub vcl_init { return (ok); } sub vcl_fini { return (ok); } #代码中有错的, #第16行第三十一个光标位置 ~符号改为英文 #('input' Line 22 Pos 26) # if (req.http.host ~ "^(e)?.nent.com$") { #Message from VCC-compiler: #Expected an action, 'if', '{' or '}' #('input' Line 45 Pos 9) # purge_url(req.url); #Message from VCC-compiler: #Unknown variable 'reqreq.http.X-Forwarded-For' #At: ('input' Line 50 Pos 13) # set reqreq.http.X-Forwarded-For = #Message from VCC-compiler: #Expected ';' got '", "' #(program line 174), at #('input' Line 51 Pos 42) # req.http.X-Forwarded-For ", " client.ip; }
varnish 启动代码
/usr/local/varnish/sbin/varnishd -n /var/vcache -f /usr/local/varnish/etc/varnish/default.vcl -s file,/var/varnish_cache,1G -g vnish -u vnish -w 30000,51200,10 -T 127.0.0.1:2000 -a 0.0.0.0:80 -f:varnish配置文件 检查varnish是否正常 HTTP/1.1 200 OK Server: nginx/1.1.1 Content-Type: text/html Last-Modified: Thu, 29 Sep 2011 16:35:43 GMT Content-Length: 151 Accept-Ranges: bytes 可以看到红色的字,表示从varnish里读取了
重启apache,再重启varnish。
pkill varnishd /usr/local/apache/bin/apachectl restart(安装目录)
|
各参数的含义如下:
-f 指定 varnish 的配置文件位置
-s 指定 varnish 缓存存放的方式,常用的方式有:“-s file,<dir_or_file>,<size>”。
-T address:port 设定 varnish 的 telnet 管理地址及其端口
-a address:port 表示 varnish 对 http 的监听地址及其端口
端口号:
配置Apache(保证监听的是80端口)
打开apache的主配置文件,/etc/httpd/conf/httpd.conf文件,找到如下一行
#Listen 127.0.0.1:80 Listen 80 |
确保监听80端口,绑定所有IP(也就是没有指定绑定的IP),如有修改,请重启Apache。
测试配置是否成功
启动varnish和apache
在浏览器里面输入你的网址(当前apache配置的网址,或者服务器IP),即可看到你的网站是否正常。(如不正常,请确保apache配置正确!),比如www.abc.com
注意,此刻访问的网站跟varnish没有关系,是直接访问apache服务器的,所以此时一定不能有问题,如有问题也是apache本身配置的问题。
如果一切正常,继续访问6081端口,如www.abc.com:6081,如果访问也正常,那么恭喜,Varnish设置成功了。
varnish 切换为80端口:
先到varnish的配置文件/etc/sysconfig/varnish里面,修改如下两个地方,公网IP和端口80.
VARNISH_LISTEN_ADDRESS=[你的公网IP地址] VARNISH_LISTEN_PORT=80 |
再到apache的配置文件/etc/httpd/conf/httpd.conf,找到我们之前说的那两行,注释掉下面的,打开上面的,也就是让服务器绑定127.0.0.1,本地回环地址。如下:
Listen 127.0.0.1:80 #Listen 80 |
重启apache,再重启varnish。
最后,测试访问你的网址(或者IP)。大功告成!
如果要验证varnish是否被使用,可以用firebug打开一个链接查看http头,是否有varnish的标记,如下图所示:
varnish使用的http验证标记
安装要点注意:
1、Apache 跟 Varnish 80端口不能冲突,把Apache端口改8080,让varnish启动在80端口,监听8080,即可代理后端了
2、中间配置好文件需要重启Apache 和varnish ,命令:
/home/lamp/apache/bin/apachectl restart
pkill varnishd,然后用上面的长长命令启动
其他:
1、清除缓存
/usr/local/varnish/bin/varnishadm -T 127.0.0.1:2000 ban.url /show/ 1.手动清理缓存的命令↑ ↑ ↑ ↑ 2.acl 只针对ip使用 3.如果提示 nothing to repeat error code 106 一般就意味着正则写错了 4.如果提示 unkown request error code 101 一般就意味着命令搞错了(ban代替了原先的purge,张宴博客的代码是旧的) varnishadm -T 127.0.0.1:3500 ban.url xxx(安装时没有验证的东西就不需要 s)
日志查看:
1、查看Varnish服务器连接数与命中率:
/usr/local/varnish/bin/varnishstat
varnishstat是查看varnish状态的工具,但里面有些参数官方网站都没介绍清楚,在这里备忘一下。
Hitrate ratio由三个数字组成,第一个数字范围0-10,第二个数字范围0-100,第三个数字范围0-1000。分别表示过去N秒内的Hitrate avg。上图由于我是刚打开varnishstat,因此三个数字都是4,表示过去4秒内的平均hitrate,如果打开的时间足够长,以上三个数字就会逐渐变成10,100,1000。
Hitrate avg里的内容是命中率,需要乘以100转换成百分比,例如上图表示命中率为99.23%
接着往下看,三列数据分别表示实时数据,每秒平均值,自启动以来每秒平均值。有些参数是没有后两列的,这是因为这些值都有固定变动范围,例如N work threads,只会在0到最大值(我设的是200)之间变动,搞每秒平均值意义不大(我猜)。
以下指标需要重点关注一下:
Client connections accepted (每秒)。
Client requests received:经验表明connection:request=1:10左右时比较理想,比这个数大很多或者小很多都是不好的。
Backend connections failures:这个数应该尽可能小,没有就最好,多的话就要看看backend指向的服务是否有问题了。
N struct object:当前被cache的条目。
N worker threads:当前工作线程数。
N worker threads created:创建了多少线程(should be close to the number you are running now) 。
N worker threads not created :最好是0,表示varnish尝试创建线程但失败。
N worker threads limited :由于线程上限限制或者线程池反应延迟导致不能成功创建的线程数,越小越好。.
N overflowed work requests :进入等待队列的请求数,越小越好。
N dropped work requests:队列被塞满后扔掉的请求,这个最好不要有。
N LRU nuked objects:由于cache空间满而不得不扔掉的cache条目,如果这个数字是0,就没必要增加cache的大小了。
n_expired :由于cache时间超时而被扔掉的cache条目,具体要看你的ttl设多大了。
其他用法:
使用-1参数能看到所有的性能数据,例如:varnishstat -1 -n /workdir/
使用varnishstat -f field1,field2,field3,…,fieldN能查看想要关心的参数