varnish配置笔记

可以参考张宴博客：http://zyan.cc/post/313/

1、创建vnish用户和组，以及Varnish缓存文件存放目录（/var/vcache）：

/usr/sbin/groupadd vnish -g 48
/usr/sbin/useradd -u 48 -g vnish vnish
mkdir -p /var/vcache
chmod +w /var/vcache
chown -R vnish:vnish /var/vcache

 

2、创建Varnish日志目录（/var/logs/）：

mkdir -p /var/logs
chmod +w /var/logs
chown -R vnish:vnish /var/logs

 

3、编译安装varnish：

 

varnish-3.0.7版本都会出错，varnish-3.0.2可以，还是使用旧版本的吧

http://repo.varnish-cache.org/source/varnish-3.0.2.tar.gz

wget http://repo.varnish-cache.org/source/varnish-3.0.2.tar.gz

tar zxvf varnish-1.1.2.tar.gz
cd varnish-1.1.2
./configure --prefix=/usr/local/varnish
make && make install

安装成功后,安装的目录是

cd /usr/local/varnish/sbin

./varnishd -V

查看版本，看是否安装成功

　　

 

安装出错，这是缺少了依赖包

解决方式：安装依赖包
yum -y install automake autoconf libtool ncurses-devel libxslt groff pcre-devel pkgconfig^C

 

make[3]: *** [varnishadm-varnishadm.o] Error 1
make[3]: Leaving directory `/root/lnmp/src/varnish-3.0.4/bin/varnishadm'
make[2]: *** [all-recursive] Error 1
make[2]: Leaving directory `/root/lnmp/src/varnish-3.0.4/bin'
make[1]: *** [all-recursive] Error 1
make[1]: Leaving directory `/root/lnmp/src/varnish-3.0.4'
make: *** [all] Error 2

 

要注意通过git签出的版本会比一般情况需要更多依赖包，尤其是Python Docutils和Sphinx。
① 所需要的依赖包(是的，上面那条命令已经包含了全部了)
automake
autoconf
libtool
ncurses-devel
libxslt
groff
pcre-devel
pkgconfig

varnish配置文件：

（3.0.2版本的文件的vcl配置文件，默认的是/usr/local/varnish/etc/varnish/default.vcl且为全注释掉的文件）# This is a basic VCL configuration file for varnish. See the vcl(7)

 针对搜索引擎的缓存设置：

if (req.http.User-Agent ~ "(yandexbot|baiduspider|sosospider)") { error 403 "forbidden"; 这里自定义}

 

backend webserver {    
.host = "127.0.0.1";    
.port = "8080";    
.connect_timeout = 20s;    
.first_byte_timeout = 20s;    
.between_bytes_timeout = 20s;    
}    
acl purge {    
       "localhost";    
       "127.0.0.1";
}    
   
sub vcl_recv {    
   #刷新缓存的处理 
       if (req.request == "PURGE") {    
               if (!client.ip ~ purge) {    
                       error 405 "Not allowed.";    
               } 
        #转到hit或者miss处理   
               return(lookup);    
       }    
   #判断请求主机,跳转到相应后端服务器
       if (req.http.host ~ "^(.*)(aaaa.com|bbbb.com)$") {    
               set req.backend = webserver;     
               if (req.request != "GET" && req.request != "HEAD") {    
                       return(pipe);    
               }    
               else {    
                       return(lookup);    
               }    
       }    
       else {    
               error 404 " Cache Server";     
               return(lookup);    
       }    
       
    #grace缓存过期仍存放 
    # 若backend是健康的，则仅grace 5s，如果backend不健康，则grace 1m。 
    # 这里，5s的目的是为了提高高并发时的吞吐率； 
    # 1m的目的是，backend挂了之后，还能继续服务一段时间，期望backend挂的不要太久。。。    
       if (req.backend.healthy) { 
        set req.grace = 5s; 
    } else { 
        set req.grace = 1m; 
    } 
   
 #刷新缓存的处理 
    if (req.request == "PURGE"){ 
        if(!client.ip ~ purge) { 
                error 405 "Not allowed."; 
        } 
    #    #转到hit或者miss处理 
        return (lookup); 
    } 
 
    #移除一些特定格式的cookie 
    if (req.url ~ "^(.*)\.(jpg|png|gif|jpeg|flv|bmp|gz|tgz|bz2|tbz|js|css|html|htm)($|\?)" ) { 
         #移除cookie,以便能缓存到varnish 
         unset req.http.cookie; 
    } 
 
   #Accept-Encoding 是浏览器发给服务器,声明浏览器支持的编码类型的 
   #修正客户端的Accept-Encoding头信息 
   #防止个别浏览器发送类似 deflate, gzip 
    if (req.http.Accept-Encoding) { 
        if (req.url ~ "^(.*)\.(jpg|png|gif|jpeg|flv|bmp|gz|tgz|bz2|tbz)($|\?)" ) { 
            remove req.http.Accept-Encoding; 
        }else if (req.http.Accept-Encoding ~ "gzip"){ 
            set req.http.Accept-Encoding = "gzip"; 
        } else if (req.http.Accept-Encoding ~ "deflate"){ 
            set req.http.Accept-Encoding = "deflate"; 
        } else if (req.http.Accept-Encoding ~ "sdch"){ 
            #chrome新增加的压缩 
            set req.http.Accept-Encoding = "sdch"; 
        }else { 
            remove req.http.Accept-Encoding; 
        } 
    }         
    #首次访问增加X-Forwarded-For头信息,方便后端程序获取客户端ip 
    if (req.restarts == 0) { 
        if (req.http.x-forwarded-for) { 
            set req.http.X-Forwarded-For = 
            req.http.X-Forwarded-For + ", " + client.ip; 
        } else { 
            set req.http.X-Forwarded-For = client.ip; 
        } 
    } 
 
   if (req.request != "GET" && 
       req.request != "HEAD" && 
       req.request != "PUT" && 
       req.request != "POST" && 
       req.request != "TRACE" && 
       req.request != "OPTIONS" && 
       req.request != "DELETE") { 
       return (pipe); 
   } 
     if (req.request != "GET" && req.request != "HEAD") { 
         /* We only deal with GET and HEAD by default */ 
         return (pass); 
     } 
     if (req.http.Authorization) { 
         /* Not cacheable by default */ 
         return (pass); 
     } 
     #js,css文件都有Cookie,不能每次都去后台服务器去取 
     #if (req.http.Cookie) { 
     #    /* Not cacheable by default */ 
     #    return (pass); 
     #} 
     
     #如果请求的是动态页面直接转发到后端服务器 
     if (req.url ~ "^(.*)\.(php|jsp|do|aspx|asmx|ashx)($|.*)") { 
          return (pass); 
     } 
     return (lookup); 
 }    
 sub vcl_pipe { 
     # Note that only the first request to the backend will have 
     # X-Forwarded-For set.  If you use X-Forwarded-For and want to 
     # have it set for all requests, make sure to have: 
     # set bereq.http.connection = "close"; 
     # here.  It is not set by default as it might break some broken web 
     # applications, like IIS with NTLM authentication. 
     return (pipe); 
 }    
#放过,让其直接去后台服务器请求数据 
sub vcl_pass { 
     return (pass); 
 }    
sub vcl_hash { 
     hash_data(req.url); 
     if (req.http.host) { 
         hash_data(req.http.host); 
     } else { 
         hash_data(server.ip); 
     } 
     #支持压缩的要增加,防止发送给不支持压缩的浏览器压缩的内容 
     if(req.http.Accept-Encoding){ 
          hash_data(req.http.Accept-Encoding); 
     } 
     return (hash); 
 } 
  
#缓存服务器lookup查找命中:hit 
 sub vcl_hit { 
     #刷新缓存的请求操作,设置TTL为0,返回处理结果代码 
     if (req.request == "PURGE") { 
          set obj.ttl = 0s; 
          error 200 "Purged."; 
      }   
     #缓存服务器命中后(查找到了) 
     return (deliver); 
 }    
#缓存服务器lookup查找没有命中:miss 
sub vcl_miss { 
    #刷新缓存的请求操作, 
    #if (req.request == "PURGE") { 
    #    error 404 "Not in cache."; 
    #}   
    #缓存服务器没有命中(去后台服务器取) 
     return (fetch); 
 }   
#从后台服务器取回数据后,视情况是否进行缓存 
sub vcl_fetch { 
    #如果请求的是动态页面直接发转发 
    #动态请求回来的,一定要放在前面处理 
    if (req.url ~ "^(.*)\.(php|jsp|do|aspx|asmx|ashx)($|.*)") { 
        set beresp.http.Cache-Control="no-cache, no-store"; 
        unset beresp.http.Expires; 
        return (deliver); 
    }   
    # 仅当该请求可以缓存时，才设置beresp.grace，若该请求不能被缓存，则不设置beresp.grace 
    if (beresp.ttl > 0s) { 
        set beresp.grace = 1m; 
    }     
     if (beresp.ttl <= 0s || 
         beresp.http.Set-Cookie || 
         beresp.http.Vary == "*") { 
            /* 
             * Mark as "Hit-For-Pass" for the next 2 minutes 
             */ 
            set beresp.ttl = 120 s; 
            #下次请求时不进行lookup,直接pass 
            return (hit_for_pass); 
     }   
    #设置从后台服务器获得的特定格式文件的缓存TTL 
    if (req.url ~ "^(.*)\.(pdf|xls|ppt|doc|docx|xlsx|pptx|chm|rar|zip)($|\?)")      
    { 
        #移除服务器发送的cookie  
        unset beresp.http.Set-Cookie; 
        #加上缓存时间 
        set beresp.ttl = 30d; 
        return (deliver); 
    }else if(req.url ~ "^(.*)\.(bmp|jpeg|jpg|png|gif|svg|png|ico|txt|css|js|html|htm)($|\?)"){ 
        #移除服务器发送的cookie  
        unset beresp.http.Set-Cookie; 
        #加上缓存时间 
        set beresp.ttl = 15d; 
        return (deliver); 
    }else if(req.url ~ "^(.*)\.(mp3|wma|mp4|rmvb|ogg|mov|avi|wmv|mpeg|mpg|dat|3pg|swf|flv|asf)($|\?)"){ 
        #移除服务器发送的cookie  
        unset beresp.http.Set-Cookie; 
        #加上缓存时间 
        set beresp.ttl = 30d; 
        return (deliver); 
    }   
    #从后台服务器返回的response信息中,没有缓存的,不缓存 
    if (beresp.http.Pragma ~"no-cache" || beresp.http.Cache-Control ~"no-cache" || beresp.http.Cache-Control ~"private") { 
            return (deliver); 
    } 
    return (deliver); 
 }    
#缓存服务器发送到客户端前调用 
 sub vcl_deliver { 
    #下面是添加一个Header标识，以判断缓存是否命中。 
    if (obj.hits > 0) { 
        set resp.http.X-Cache = "HIT from cache"; 
       #set resp.http.X-Varnish = "HIT from cache"; 
    } else { 
        set resp.http.X-Cache = "MISS from cache"; 
       #set resp.http.X-Varnish = "MISS from cache"; 
    } 
    #去掉不是必须的header 
    unset resp.http.Vary; 
    unset resp.http.X-Powered-By; 
    unset resp.http.X-AspNet-Version; 
    return (deliver); 
 } 
  
 sub vcl_error { 
     set obj.http.Content-Type = "text/html; charset=utf-8"; 
     set obj.http.Retry-After = "5"; 
     synthetic {" 
 <?xml version="1.0" encoding="utf-8"?> 
 <!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Strict//EN" 
  "http://www.w3.org/TR/xhtml1/DTD/xhtml1-strict.dtd"> 
 <html> 
   <head> 
     <title>"} + obj.status + " " + obj.response + {"</title> 
   </head> 
   <body> 
     <h1>Error "} + obj.status + " " + obj.response + {"</h1> 
     <p>"} + obj.response + {"</p> 
     <h3>Guru Meditation:</h3> 
     <p>XID: "} + req.xid + {"</p> 
     <hr> 
     <p>cache server</p> 
   </body> 
 </html> 
 "}; 
     return (deliver); 
 }    
 sub vcl_init { 
    return (ok); 
 }   
 sub vcl_fini { 
    return (ok); 
 }
 

#代码中有错的，
#第16行第三十一个光标位置   ~符号改为英文
#('input' Line 22 Pos 26)
#       if (req.http.host ～ "^(e)?.nent.com$") {

#Message from VCC-compiler:
#Expected an action, 'if', '{' or '}'
#('input' Line 45 Pos 9)
#        purge_url(req.url);


#Message from VCC-compiler:
#Unknown variable 'reqreq.http.X-Forwarded-For'
#At: ('input' Line 50 Pos 13)
#        set reqreq.http.X-Forwarded-For =

#Message from VCC-compiler:
#Expected ';' got '", "'
#(program line 174), at
#('input' Line 51 Pos 42)
#                req.http.X-Forwarded-For ", " client.ip; }
 

 

 

varnish 启动代码

/usr/local/varnish/sbin/varnishd -n /var/vcache -f /usr/local/varnish/etc/varnish/default.vcl -s file,/var/varnish_cache,1G  -g vnish -u vnish -w 30000,51200,10 -T 127.0.0.1:2000 -a 0.0.0.0:80 -f：varnish配置文件 -a：绑定IP和端口 -s：varnish缓存位置和大小 -g：以什么组运行 -u：以什么用户运行 -w：最小，最大线程和超时时间 -T：varnish管理端口，主要用来清除缓存 -p：file 记录 PID 号的文件 -n：为这个实例指定一个名字 检查varnish是否正常  这时我们可以通过浏览器里输入http://192.168.0.71,如果可能看到"Welcome to nginx!"字样则表示成功    [root@bogon lib]# curl -I http://192.168.0.71/  HTTP/1.1 200 OK Server: nginx/1.1.1 Content-Type: text/html  Last-Modified: Thu, 29 Sep 2011 16:35:43 GMT Content-Length: 151 Accept-Ranges: bytes  Date: Fri, 18 Nov 2011 03:31:23 GMT X-Varnish: 942185170 942185168 Age: 10  Via: 1.1 varnish Connection: keep-alive  可以看到红色的字,表示从varnish里读取了  停止varnish: Pkill varnish   重启apache，再重启varnish。   pkill varnishd /usr/local/apache/bin/apachectl restart(安装目录)   GET -Used http://localhost:6081/

 

各参数的含义如下：

-f 指定 varnish 的配置文件位置

-s 指定 varnish 缓存存放的方式，常用的方式有：“-s file,<dir_or_file>,<size>”。

-T address:port 设定 varnish 的 telnet 管理地址及其端口

-a address:port 表示 varnish 对 http 的监听地址及其端口

 

端口号：

配置Apache（保证监听的是80端口）

打开apache的主配置文件，/etc/httpd/conf/httpd.conf文件，找到如下一行

#Listen 127.0.0.1:80 Listen 80

确保监听80端口，绑定所有IP（也就是没有指定绑定的IP），如有修改，请重启Apache。

测试配置是否成功

启动varnish和apache 
在浏览器里面输入你的网址（当前apache配置的网址，或者服务器IP），即可看到你的网站是否正常。（如不正常，请确保apache配置正确！），比如www.abc.com

 

注意，此刻访问的网站跟varnish没有关系，是直接访问apache服务器的，所以此时一定不能有问题，如有问题也是apache本身配置的问题。

 

如果一切正常，继续访问6081端口，如www.abc.com:6081，如果访问也正常，那么恭喜，Varnish设置成功了。

varnish 切换为80端口：

先到varnish的配置文件/etc/sysconfig/varnish里面，修改如下两个地方，公网IP和端口80.

VARNISH_LISTEN_ADDRESS=[你的公网IP地址] VARNISH_LISTEN_PORT=80

再到apache的配置文件/etc/httpd/conf/httpd.conf，找到我们之前说的那两行，注释掉下面的，打开上面的，也就是让服务器绑定127.0.0.1，本地回环地址。如下：

Listen 127.0.0.1:80 #Listen 80

重启apache，再重启varnish。

最后，测试访问你的网址（或者IP）。大功告成！ 
如果要验证varnish是否被使用，可以用firebug打开一个链接查看http头，是否有varnish的标记，如下图所示：

varnish使用的http验证标记

 

安装要点注意：

1、Apache 跟 Varnish 80端口不能冲突，把Apache端口改8080，让varnish启动在80端口，监听8080，即可代理后端了

2、中间配置好文件需要重启Apache 和varnish ，命令：

/home/lamp/apache/bin/apachectl restart

pkill varnishd,然后用上面的长长命令启动

 

 其他：

1、清除缓存

/usr/local/varnish/bin/varnishadm -T 127.0.0.1:2000 ban.url /show/


1.手动清理缓存的命令↑ ↑ ↑ ↑
2.acl 只针对ip使用
3.如果提示 nothing to repeat error code 106 一般就意味着正则写错了
4.如果提示 unkown request error code 101 一般就意味着命令搞错了（ban代替了原先的purge，张宴博客的代码是旧的）
varnishadm -T 127.0.0.1:3500 ban.url xxx（安装时没有验证的东西就不需要 s）

 

 

日志查看：

1、查看Varnish服务器连接数与命中率：

/usr/local/varnish/bin/varnishstat

varnishstat是查看varnish状态的工具，但里面有些参数官方网站都没介绍清楚，在这里备忘一下。

Hitrate ratio由三个数字组成，第一个数字范围0-10，第二个数字范围0-100，第三个数字范围0-1000。分别表示过去N秒内的Hitrate avg。上图由于我是刚打开varnishstat，因此三个数字都是4，表示过去4秒内的平均hitrate，如果打开的时间足够长，以上三个数字就会逐渐变成10，100，1000。

Hitrate avg里的内容是命中率，需要乘以100转换成百分比，例如上图表示命中率为99.23%

接着往下看，三列数据分别表示实时数据，每秒平均值，自启动以来每秒平均值。有些参数是没有后两列的，这是因为这些值都有固定变动范围，例如N work threads，只会在0到最大值（我设的是200）之间变动，搞每秒平均值意义不大（我猜）。

以下指标需要重点关注一下：

Client connections accepted （每秒）。
Client requests received：经验表明connection:request=1:10左右时比较理想，比这个数大很多或者小很多都是不好的。
Backend connections failures：这个数应该尽可能小，没有就最好，多的话就要看看backend指向的服务是否有问题了。
N struct object：当前被cache的条目。
N worker threads：当前工作线程数。
N worker threads created：创建了多少线程(should be close to the number you are running now) 。
N worker threads not created ：最好是0，表示varnish尝试创建线程但失败。
N worker threads limited ：由于线程上限限制或者线程池反应延迟导致不能成功创建的线程数，越小越好。.
N overflowed work requests ：进入等待队列的请求数，越小越好。
N dropped work requests：队列被塞满后扔掉的请求，这个最好不要有。
N LRU nuked objects：由于cache空间满而不得不扔掉的cache条目，如果这个数字是0，就没必要增加cache的大小了。
n_expired ：由于cache时间超时而被扔掉的cache条目，具体要看你的ttl设多大了。

其他用法：

使用-1参数能看到所有的性能数据，例如：varnishstat -1 -n /workdir/
使用varnishstat -f field1,field2,field3,…,fieldN能查看想要关心的参数