Varnish配置实例

网络上称Varnish是一款高性能的开源HTTP加速器,与大家耳熟能详的squid有着类似的功能,下面来看Varnish的特点:

是基于内存缓存,重启后数据将消失。

利用虚拟内存方式,io性能好。

支持设置0~60秒内的精确缓存时间。

VCL配置管理比较灵活。

32位机器上缓存文件大小为最大2G。

具有强大的管理功能,例如top,stat,admin,list等。

状态机设计巧妙,结构清晰。

利用二叉堆管理缓存文件,达到积极删除目的。


Varnish的Storage方式可分为两种:

Malloc 通过malloc获取内存。

Mmap file 创建大文件,通过二分法分段映射成1G以内的大块。


Varnish工作流程:

与一般服务器软件类似,分为master(management)进程和child(worker,主要做cache的工作)进程。master进程读入命令,进行一些初始化,然后fork并监控child进程。child进程分配若干线程进行工作,主要包括一些管理线程和很多woker线程。

针对文件缓存部分,master读入存储配置(-s file[,path[,size[,granularity]]] ),调用合适的存储类型,然后创建/读入相应大小的缓存大文件。接着,master初始化管理该存储空间的结构体。这些变量都是全局变量,在fork以后会被child进程所继承(包括文件描述符)。

在child进程主线程初始化过程中,将前面打开的存储大文件整个mmap到内存中(如果超出系统的虚拟内存,mmap失败,进程会减少原来的配置mmap大小,然后继续mmap),此时创建并初始化空闲存储结构体,挂到存储管理结构体,以待分配。

接着,真正的工作开始,Varnish的某个负责接受新HTTP连接的线程开始等待用户,如果有新的HTTP连接过来,它总负责接收,然后叫醒某个等待中的线程,并把具体的处理过程交给它。Worker线程读入HTTP请求的URI,查找已有的object,如果命中则直接返回并回复用户。如果没有命中,则需要将所请求的内容,从后端服务器中取过来,存到缓存中,然后再回复。

分配缓存的过程是这样的:它根据所读到object的大小,创建相应大小的缓存文件。为了读写方便,程序会把每个object的大小变为最接近其大小的内存页面倍数。然后从现有的空闲存储结构体中查找,找到最合适的大小的空闲存储块,分配给它。如果空闲块没有用完,就把多余的内存另外组成一个空闲存储块,挂到管理结构体上。如果缓存已满,就根据LRU机制,把最旧的object释放掉。

释放缓存的过程是这样的:有一个超时线程,检测缓存中所有object的生存期,如果超初设定的TTL(Time To Live)没有被访问,就删除之,并且释放相应的结构体及存储内存。注意释放时会检查该存储内存块前面或后面的空闲内存块,如果前面或后面的空闲内存和该释放内存是连续的,就将它们合并成更大一块内存。

整个文件缓存的管理,没有考虑文件与内存的关系,实际上是将所有的object都考虑是在内存中,如果系统内存不足,系统会自动将其换到swap空间,而不需要varnish程序去控制。

VCL内置函数:


vcl_recv:用以接受和处理请求,当请求接收成功后被调用,作用有

1、修改客户端数据以减少缓存对象的差异性;如某些缓存内容中的cookie

2、基于客户端数据选用缓存策略;如缓存特定的url,不缓存POST请求;

3、为某web应用程序执行url重写;

4、挑选合适的后端web服务器;

接下来的动作有:

pass:将请求直接传递给后端主机,后端主机应答后送给客户端,不进行任何缓存,在当前连接下,每次都返回新的内容。

pipe:不对客户端进行检查或作出任何操作,而是在client和后端server建立专用管道。

lookup:在缓存中查找请求的对象,如果缓存中没有,后续操作很可能将请求的对象进行缓存。

error:由varnish自己发送一个响应报文,一般是响应一个错误类信息,重定向类信息,或负载均衡器返回的后端web服务器健康状态检查类信息;

vcl_pipe

用于将请求直接传递至后端主机,在请求和返回的内容没有改变的情况下,将不变的内容返回给客户端,直到这个链接关闭。

此函数一般以如下几个关键字结束:

error code [reason]

pipe


vcl_pass

用于将请求直接传递至后端主机,后端主机应答数据后送给客户端,但不进行任何缓存,在当前连接下每次都返回最新的内容。

此函数一般以如下几个关键字结束:

error code [reason]

pass


lookup:表示在缓存中查找请求的对象,根据结果把控制权交给vcl_hitvcl_miss


vcl_hit:在执行lookup指令后,如果在缓存中找到请求的资源,将自动调用此函数,后续动作有:

deliver:表示将找到的内容发送给客户端,并将控制权交给vcl_deliver

error code [reason]

pass:将请求直接传递给后端主机,后端主机应答后送给客户端,不进行任何缓存,在当前连接下,每次都返回新的内容。


vcl_miss:没有在缓存中找到请求的资源,后续动作有:

fetch:从后端取内容

error code [reason]

pass


vcl_fetch:从后端主机获取用户请求的资源,后续动作有:

error code [reason]

pass

deliver

图解varnish工作流程:

002420503.png


varnish常用变量:

当处理一个请求时的变量:

client.ip # 客户端IP

client.identity # 客户端id,通常为用户名等信息;

server.hostname # 请求首部中的主机名(代理服务器的)

server.identity# server id

server.ip # 代理服务器的IP

server.port # 端口


req.request #请求的方法“GET/HEAD/POST/PUT....

req.url # 请求的url

req.proto # 请求的协议版本;

req.backend # 响应请求时使用的后端主机;

req.restarts # 请求重启的次数,原因可能是被重定向

req.http.header # 对应的请求首部


安装启动Varnish


[root@node1 ~]# yum -y localinstall varnish-3.0.4-1.el6.x86_64.rpm varnish-libs-3.0.4-1.el6.x86_64.rpm
# 配置文件详解
[root@node1 ~]# vim /etc/sysconfig/varnish
# Configuration file for varnish
# varnish进程可以打开的文件个数,因为每个套接字连接需要2个文件,分为前端和后端,所以最大为5536*2
NFILES=131072 
# Locked shared memory (for ulimit -l)
# Default log size is 82MB + header
# 内存中默认划分给varnish使用的内存;
MEMLOCK=82000
# Maximum number of threads (for ulimit -u)
# 可以启动的线程个数,无限制;
NPROCS="unlimited"
# Maximum size of corefile (for ulimit -c). Default in Fedora is 0
# DAEMON_COREFILE_LIMIT="unlimited"
# Set this to 1 to make init script reload try to switch vcl without restart.
# To make this work, you need to set the following variables
# explicit: VARNISH_VCL_CONF, VARNISH_ADMIN_LISTEN_ADDRESS,
# VARNISH_ADMIN_LISTEN_PORT, VARNISH_SECRET_FILE, or in short,
# use Alternative 3, Advanced configuration, below
# 不用重启varnish就可以使配置文件生效,需要使用CLI连接
RELOAD_VCL=1
#
# # Main configuration file. You probably want to change it :)
#  varnish配置文件路径
VARNISH_VCL_CONF=/etc/varnish/default.vcl
#
# VARNISH_LISTEN_ADDRESS=
# Varnish监听端口,一般设置为80
VARNISH_LISTEN_PORT=6081
#
# # Telnet admin interface listen address and port
# varnish管理接口
VARNISH_ADMIN_LISTEN_ADDRESS=127.0.0.1
VARNISH_ADMIN_LISTEN_PORT=6082
#
# # Shared secret file for admin interface
# 管理varnish时用的的秘钥文件
VARNISH_SECRET_FILE=/etc/varnish/secret
#
# # The minimum number of worker threads to start
# varnish最少线程数
VARNISH_MIN_THREADS=50
#
# # The Maximum number of worker threads to start
# varnish最大线程数;
VARNISH_MAX_THREADS=1000
#
# # Idle timeout for worker threads
# 线程超时时间
VARNISH_THREAD_TIMEOUT=120
#
# # Cache file location
# 存储文件
VARNISH_STORAGE_FILE=/var/lib/varnish/varnish_storage.bin
#
# # Cache file size: in bytes, optionally using k / M / G / T suffix,
# # or in percentage of available disk space using the % suffix.
# 存储文件大小:
VARNISH_STORAGE_SIZE=1G
VARNISH_MEMORY_SIZE=64M
#
# # Backend storage specification
#VARNISH_STORAGE="file,${VARNISH_STORAGE_FILE},${VARNISH_STORAGE_SIZE}"
VARNISH_STORAGE="malloc,${VARNISH_MEMORY_SIZE}"
#
# # Default TTL used when the backend does not specify one
VARNISH_TTL=120
#
# # DAEMON_OPTS is used by the init script.  If you add or remove options, make
# # sure you update this section, too.
DAEMON_OPTS="-a ${VARNISH_LISTEN_ADDRESS}:${VARNISH_LISTEN_PORT} \
             -f ${VARNISH_VCL_CONF} \
             -T ${VARNISH_ADMIN_LISTEN_ADDRESS}:${VARNISH_ADMIN_LISTEN_PORT} \
             -t ${VARNISH_TTL} \
             -w ${VARNISH_MIN_THREADS},${VARNISH_MAX_THREADS},${VARNISH_THREAD_TIMEOUT} \
             -u varnish -g varnish \
             -S ${VARNISH_SECRET_FILE} \
             -s ${VARNISH_STORAGE}"
#
## Alternative 4, Do It Yourself. See varnishd(1) for more information.
#
# DAEMON_OPTS=""
[root@node1 ~]# service varnish start
[root@node1 ~]# cat /etc/sysconfig/varnish
# Configuration file for varnish
# varnish进程可以打开的文件个数,因为每个套接字连接需要2个文件,分为前端和后端65536X2
NFILES=131072 
# Locked shared memory (for ulimit -l)
# Default log size is 82MB + header
# 内存中默认划分给varnish使用的内存;
MEMLOCK=82000
# Maximum number of threads (for ulimit -u)
# 可以启动的线程个数,无限制;
NPROCS="unlimited"
# Maximum size of corefile (for ulimit -c). Default in Fedora is 0
# DAEMON_COREFILE_LIMIT="unlimited"
# Set this to 1 to make init script reload try to switch vcl without restart.
# To make this work, you need to set the following variables
# explicit: VARNISH_VCL_CONF, VARNISH_ADMIN_LISTEN_ADDRESS,
# VARNISH_ADMIN_LISTEN_PORT, VARNISH_SECRET_FILE, or in short,
# use Alternative 3, Advanced configuration, below
# 不用重启varnish就可以使配置文件生效,需要使用CLI连接
RELOAD_VCL=1
#
# # Main configuration file. You probably want to change it :)
#  varnish配置文件路径
VARNISH_VCL_CONF=/etc/varnish/default.vcl
#
# VARNISH_LISTEN_ADDRESS=
# Varnish监听端口,一般设置为80
VARNISH_LISTEN_PORT=6081
#
# # Telnet admin interface listen address and port
# varnish管理接口
VARNISH_ADMIN_LISTEN_ADDRESS=127.0.0.1
VARNISH_ADMIN_LISTEN_PORT=6082
#
# # Shared secret file for admin interface
# 管理varnish时用的的秘钥文件
VARNISH_SECRET_FILE=/etc/varnish/secret
#
# # The minimum number of worker threads to start
# varnish最少线程数
VARNISH_MIN_THREADS=50
#
# # The Maximum number of worker threads to start
# varnish最大线程数;
VARNISH_MAX_THREADS=1000
#
# # Idle timeout for worker threads
# 线程超时时间
VARNISH_THREAD_TIMEOUT=120
#
# # Cache file location
# 存储文件
VARNISH_STORAGE_FILE=/var/lib/varnish/varnish_storage.bin
#
# # Cache file size: in bytes, optionally using k / M / G / T suffix,
# # or in percentage of available disk space using the % suffix.
# 存储文件大小:
VARNISH_STORAGE_SIZE=1G
VARNISH_MEMORY_SIZE=64M
#
# # Backend storage specification
#VARNISH_STORAGE="file,${VARNISH_STORAGE_FILE},${VARNISH_STORAGE_SIZE}"
VARNISH_STORAGE="malloc,${VARNISH_MEMORY_SIZE}"
#
# # Default TTL used when the backend does not specify one
VARNISH_TTL=120
#
# # DAEMON_OPTS is used by the init script.  If you add or remove options, make
# # sure you update this section, too.
DAEMON_OPTS="-a ${VARNISH_LISTEN_ADDRESS}:${VARNISH_LISTEN_PORT} \
             -f ${VARNISH_VCL_CONF} \
             -T ${VARNISH_ADMIN_LISTEN_ADDRESS}:${VARNISH_ADMIN_LISTEN_PORT} \
             -t ${VARNISH_TTL} \
             -w ${VARNISH_MIN_THREADS},${VARNISH_MAX_THREADS},${VARNISH_THREAD_TIMEOUT} \
             -u varnish -g varnish \
             -S ${VARNISH_SECRET_FILE} \
             -s ${VARNISH_STORAGE}"
#
## Alternative 4, Do It Yourself. See varnishd(1) for more information.
#
# DAEMON_OPTS=""
#
[root@node1 ~]# service varnish start


二、VCL(varnish configuration language)


Varnish ConfigurationLanguage (VCL)是varnish配置缓存策略的工具,它是一种基于“域”(domainspecific)的简单编程语言,它支持有限的算术运算和逻辑运算操作、允许使用正则表达式进行字符串匹配、允许用户使用set自定义变量、支持if判断语句,也有内置的函数和变量等。使用VCL编写的缓存策略通常保存至.vcl文件中,其需要编译成二进制的格式后才能由varnish调用。事实上,整个缓存策略就是由几个特定的子例程如vcl_recv、vcl_fetch等组成,它们分别在不同的位置(或时间)执行,如果没有事先为某个位置自定义子例程,varnish将会执行默认的定义。

VCL策略在启用前,会由management进程将其转换为C代码,而后再由gcc编译器将C代码编译成二进制程序。编译完成后,management负责将其连接至varnish实例,即child进程。正是由于编译工作在child进程之外完成,它避免了装载错误格式VCL的风险。因此,varnish修改配置的开销非常小,其可以同时保有几份尚在引用的旧版本配置,也能够让新的配置即刻生效。编译后的旧版本配置通常在varnish重启时才会被丢弃,如果需要手动清理,则可以使用varnishadm的vcl.discard命令完成。


VCL语法:

(1)//、#或/* comment*/用于注释
(2)sub $name定义函数
(3)不支持循环,有内置变量
(4)使用终止语句,没有返回值
(5)域专用
(6)操作符:=(赋值)、==(等值比较)、~(模式匹配)、!(取反)、&&(逻辑与)、||(逻辑或)

修改配置文件后可以不用重启服务就可以生效,通过CLI工具:


[root@node1 ~]# varnishadm -S /etc/varnish/secret -T 127.0.0.1:6082
200       
-----------------------------
Varnish Cache CLI 1.0
-----------------------------
Linux,2.6.32-358.el6.x86_64,x86_64,-smalloc,-smalloc,-hcritbit
varnish-3.0.4 revision 9f83e8f
Type 'help' for command list.
Type 'quit' to close CLI session.
varnish>
# varnish 运行参数设定:
varnish> param.show
# thread_pool_max 默认最多启动1000个
# thread_pools    默认线程池个数,建议跟CPU核心数相同
#listen_depth 当线程池空了后,后续连接在队列中,这里就是定义队列的长度
# lru_interval 默认清理缓存的时间为2s。(根据lru算法计算)
# 设置参数(重启后失效)
varnish> param.set thread_pools 4
200       

配置实例:

# 定义健康状况监测
probe healthcheck {
        .url = "/";
        .interval = 6s;
        .timeout = 0.3s;
        .window = 8;
        .threshold = 3;
        .initial = 3;
}
定义后端主机
backend web1 {
  .host = "172.16.1.7";
  .port = "80";
  .probe = healthcheck;
}
backend web2 {
  .host = "172.16.1.3";
  .port = "80";
  .probe = healthcheck;
}
backend app1 {
  .host = "172.16.1.7";
  .port = "8080";
  .probe = healthcheck;
}
backend app2 {
  .host = "172.16.1.3";
  .port = "8080";
  .probe = healthcheck;
}
# 定义负载均衡集群,random为算法
director webserver  random {
        {.backend = web1;
         .weight  = 2;
        }
        {.backend = web2;
         .weight = 5;
        }
}
director appserver  random {
        {.backend = app1;
         .weight = 2;}
        {.backend = app2;
         .weight = 5;}
}
#The DNS director
director directorname dns {
        .list = {
                .host_header = "www.example.com";
                .port = "80";
                .connect_timeout = 0.4s;
                "172.16.1.0"/24;
                "172.16.100.128"/25;
        }
        .ttl = 5m;
        .suffix = "internal.example.net";
}
# The fallback director
director b3 fallback {
  { .backend = www1; }
  { .backend = www2; } // will only be used if www1 is unhealthy.
  { .backend = www3; } // will only be used if both www1 and www2
                       // are unhealthy.
}
# PURGE,清理缓存
acl purge {
  "localhost";
  "172.16.1.0"/24;
}
sub vcl_recv {
  if (req.request == "PURGE") {
    if (!client.ip ~ purge) {
      error 405 "Not allowed.";
    }
    return(lookup);
  }
}
sub vcl_hit {
  if (req.request == "PURGE") {
    purge;
    error 200 "Purged.";
  }
}
sub vcl_miss {
  if (req.request == "PURGE") {
    purge;
    error 200 "Purged.";
  }
}
可以使用:curl -X PURGE -I  http://172.16.1.1/index.html
# 防盗链:
if (req.http.referer  ~  "http://.*") {
    if (!(req.http.referer  ~  "http://.*\.magedu.com" || req.http.referer  ~  "http://.*\.google\.com.*)) {
        set req.http.host = "www.magedu.com";
        set req.url = "/anti/anti.html";
        }
    }
# 设置新的响应头部,显示命中或丢失
sub vcl_deliver {
        if (obj.hits > 0) {
         set resp.http.X-Cache = "HIT";
   } else {
         set resp.http.X-Cache = "MISS";
}
}
# 为后端主机传递客户端IP,并设置动静分离:
sub vcl_recv {
if (req.http.x-forwarded-for) {
           set req.http.X-Forwarded-For =
                          req.http.X-Forwarded-For + ", " + client.ip;
                  } else {
                      set req.http.X-Forwarded-For = client.ip;
                 }
   if (req.url ~ "\.php$"){
        set req.backend = appserver;
}else{
        set req.backend = webserver;
}
#当url中包含servlet时,不进行缓存。
    if (req.url ~ "^/servlet/") {
        return (pass);
    }
#当url中包含services时,不进行缓存。
    if (req.url ~ "^/services/") {
        return (pass);
    }
#对于请求类型是GET,并且请求的URL中包含upload,那么就进行缓存,缓存的时间是300秒
    if (req.request == "GET" && req.url ~ "^/upload(.*)$") {
       set beresp.ttl = 300s;
    }
#对于请求类型是GET,并且请求的URL以png、xsl、xml、gif、css、js等结尾时,则进行缓存,缓存时间为600秒。
    if (req.request == "GET" && req.url ~ "\.(png|xsl|xml|pdf|ppt|doc|docx|chm|rar|zip|bmp|jpeg|swf|ico|mp3|mp4|rmvb|ogg|mov|avi|wmv|swf|txt|png|gif|jpg|css|js|html|htm)$") {
       set beresp.ttl = 600s;
    }
    return (deliver);
}


你可能感兴趣的:(varnish)