5431039

Varnish

varnish

一、简介

Varnish是一款高性能的开源HTTP加速器，挪威最大的在线报纸 Verdens Gang 使用3台Varnish代替了原来的12台Squid，性能比以前更好。

Varnish 的作者Poul-Henning Kamp是FreeBSD的内核开发者之一，他认为现在的计算机比起1975年已经复杂许多。在1975年时，储存媒介只有两种：内存与硬盘。但现在计算机系统的内存除了主存外，还包括了CPU内的L1、L2，甚至有L3快取。硬盘上也有自己的快取装置，因此Squid Cache自行处理物件替换的架构不可能得知这些情况而做到最佳化，但操作系统可以得知这些情况，所以这部份的工作应该交给操作系统处理，这就是 Varnish cache设计架构。

varnish项目是2006年发布的第一个版本0.9.距今已经八年多了，此文档之前也提过varnish还不稳定，那是2007年时候编写的，经过varnish开发团队和网友们的辛苦耕耘，现在的varnish已经很健壮。很多门户网站已经部署了varnish，并且反应都很好，甚至反应比squid还稳定，且效率更高，资源占用更少。相信在反向代理，web加速方面，varnish已经有足够能力代替squid。

varnish的官网为https://www.varnish-cache.org，rpm，rpm包的下载位置为：http://repo.varnish-cache.org。

二、关于Varnish

1.varnish系统架构

varnish主要运行两个进程：Management进程和Child进程（也叫Cache进程）。

Management进程主要实现应用新的配置、编译VCL、监控varnish、初始化varnish以及提供一个命令行接口等。Management进程会每隔一段时间探测一下Child进程以判断其是否正常运行，如果在指定的时长内未得到Child进程的回应，Mangagement将会重启此Child进程。

Child进程包含多种类型的线程，常见的如:

Acceptor进程：接受新的连接请求并响应

worker进程：child进程会为每个用户启动一个worker进程，因此，在高并发的场景中可能会出现数百个worker进程甚至更多

Expiry进程：从缓存中清理过期内容

Varnish依赖“工作区（workspace）”以降低线程在申请或修改内存时出现竞争的可能性。在varnish内部有多种不同的工作区，其中最关键的当属用于管理会话数据的session工作区

2.varnish日志

为了与系统的其他部分进行交互，Child进程使用了可以通过文件系统接口进行访问的共享内存日志（shared memory log），因此，如果某线程需要记录信息，其仅需要持有一个锁，而后向共享内存中的某内存区域写入数据，再释放持有的锁即可。而为了减少竞争，每个worker线程都使用了日志数据缓存

共享内存大小一般为90M，其分为两部分，前一部分为计数器，后半部分为客户端请求的数据。varnish通过了多个不同的工具，如varnishlog、varnishncsa或varnishstst等来分析共享内存日志中的信息并能够以指定的方式进行显示

3.varnish的后端存储

varnish支持多种不同类型的后端存储。这可以在varnish启动时使用-s选项指定。后端存储的类型包括

(1)file：使用特定的文件存储全部的缓存数据，并通过操作系统的mmap()系统调用整个缓存文件映射至内存区域（如果条件允许）

(2)mallco: 使用mallco()库调用在varnish启动时向操作系统申请指定的大小的内存空间以存储缓存数据

(3)persistent(experimental):与file的功能相同，但是可以持久存储数据（即重启varnish时数据不会被清楚），仍处于测试阶段

varnish无法追踪某缓存对象是否存入了缓存文件，而后也就无法得知磁盘上的缓存文件是否可用，因此，file存储在varnish停止或重启是会清除数据。而persistent方法的出现对此有一个弥补，但persistent仍处于测试阶段，例如目前尚无法有效处理要缓存对象总体大小超出缓存空间的情况，所有，其仅适用于有着巨大缓存空间的场景。

选择使用合适的存储方式有助于途胜系统性能，从经验的角度来看，建议在内存空间足以存储所有数据的缓存对象时使用malloc的方法，反之，file存储将会有着更好的性能表现，然而，需要注意的是，varnishd实际上是用的空间比使用-s选项指定的缓存空间更大，一般说来，其需要为每个缓存对象多使用差不多1k左右的存储空间，这意味着，对于100万个缓存对象来说，其使用的缓存空间将超出指定大小1G左右，另外，为了保存数据结构等，varnish自身也会占去不少的内存空间。

为varnish指定使用的缓存类型时，-s选项可接受的参数格式如下：

malloc[,size]或file[,path[,size[,granularity]]]或persistent,path,size{experimental}

三、VCL

1.简介

VCL（Varnish Configuration Language）是varnish配置缓存策略的工具，它是一种基于“域”（domain specific）的简单编程语言，他支持有限的算术运算和逻辑运算操作、允许使用正则表达式进行字符串匹配、允许用户使用set自定义变量、支持if判断语句，也要内置的函数和变量等。使用VCL编写的缓存策略通常保存至.vcl文件中，其需要编译成二进制的格式后才能有varnish调用。事实上，整个缓存策略就是由几个特定的子历程如vcl_recv、vcl_fetch等组成，他们分别在不同的位置（或时间）执行，如果没有实现为某个位置自定义子例程，varnish将会执行默认的定义

VCL策略在启用前，会由management进程将其转换为C代码，而后再有gcc编译器将C代码编译成二进制程序。编译完成后，management负责将其连接至varnish实例，即Child进程。正式由于编译工作在child进程之外完成，它避免了转载错误格式VCL的风险，因此，varnish修改配置的开销非常小，其可以同时保有几分尚在引用的旧版本配置，也能够让新的配置即刻生效，编译后的旧版本配置通常在varnish重启时才会被丢弃，如果需要手动清理，则可以使用varnishadm的vcl.discard命令来完成

2.VCL状态引擎

在VCL状态引擎中，状态之间具有相关性，但彼此间互相隔离，每个引擎使用return（x）来退出当前状态并指示varnish进入下一个状态

varnish开始处理一个请求时，首先需要分析HTTP请求本身，比如从首部获取请求方法、验证其是否为一个合法的HTTP请求等，当这些基本分析结束后就需要做出第一个决策，即varnish是否从缓存中查找请求的资源，这个决定的实现则需要有VCL来完成，简单来说，要有vcl_recv方法来完成，如果说管理员没有定义vcl_recv函数，varnish将会执行默认的vcl_recv函数，然而，即便管理员自定义了vcl_recv，但如果没有为自定义的vcl_recv函数指定其终止操作（terminating），其仍将会指定默认的vcl_recv函数，事实上，varnish官方强烈建议让varnish执行默认的vcl_recv以便处理自定义vcl_recv函数中可能出现的漏洞

3.VCL语法

VCL的设计参考了C和perl语言，因此，对有着C或Perl编程经验者来说，其非常容易理解。其基本语法说明如下：

(1)//、#或/* comment */用于注释

(2)sub $name 定义函数

(3)不支持循环，有内置变量

(4)使用终止语句，没有返回值

(5)域专用

(6)操作符：=（赋值）、==（等值比较）、~(模式匹配)、!(非，取反)、&&（逻辑与）、||（逻辑或）

VCL的函数不接受参数并且没有返回值，因此，其并非真正意义上的函数，这也限定了VCL内部的数据传递只能隐藏在HTTP首部内部进行。VCL的return语句用于将控制权从VCL状态引擎返回给varnish，而非默认函数，这就是为什么VCL只有终止语句而没有返回值的原因，同时，对于每个“域”来说，可以定义一个或多个终止语句，以告诉varnish下一步采取何种操作，如查询缓存或不查询缓存

4.VCL的内置函数

VCL提供了结果函数来实现字符串的修改，如添加bans，重启VCL状态引擎因将控制权转回varnish等

regsub(str,reget,sub)：基于正则表达式搜索指定的字符串并将其替换成指定的字符串，只替换匹配到的第一个

regsuball(str,reget,sub):基于正则表达式搜索指定的字符串并将其统统替换成指定的字符串

ban（expression）：

ban_url(regex):Bans所有其URL能够由regex匹配的缓存对象

purge：从缓存中挑选出某对象以及其相关变种一并删除，这可以通过通过HYTP协议的PURGE方法完成

hash_data(str)：

return()：当某个VCL与运行结束时，将控制权返回给Varnish，并指示Varnish如何进行后续的操作：其可以返回的指令包括：lookup、pass、pipe、hit_for_pass、fetch、deliver和hash等：但某特定域可能技能返回某些特定的指令，而非前面列出的全部指令：

return（restart）:重新运行整个VCL，即重新从vcl_recv开始进行处理；每一次重启都会增加req.restaets变量中的值，而max_restaets参数则用于限定最大重启次数

5.vcl_recv

vcl_recv是在varnish完成对请求报文的解码为基本数据结构后第一个要指定的子例程，他通常有四个主要用途：

(1)修改客户端数据以减少缓存对象差异性，比如删除URL中的www.等字符串

(2)基于客户端数据选用缓存策略：比如仅缓存特定的额URL请求、不缓存POST请求等

(3)为某web应用程序执行URL重写

(4)挑选合适的后端服务器；

可以使用下面的终止语句，即通过return()向varnish返回指示操作

pass：绕过缓存，即不从缓存中查询内容或不将内容存储至缓存中；

pipe：不对客户端进行检查或做出任何操作，而是在客户端与后端服务器之间建立专业“通道”，并直接将数据在二者之间进行传送：此时，keep-alive连接中后续传送的数据也都将在通过此管道进行直接传送，并不会出现在任何日志中

lookup：在缓存中查找用户请求的对象，如果缓存中没有其指定的对象，后续操作很可能会将其请求的对象进行缓存

error：有varnish自己合成一个响应报文，一般是响应一个错误类信息、重定向类信息或缓存均衡器返回的后端web服务器健康状态检查类信息

vcl_recv也可以通过精巧的策略完成一定意义上的安全功能，以将某特定的攻击扼杀于摇篮中，同时，它也可以检查出一些拼写的错误并将其进行修改

varnish默认的vcl_recv专门设计用来实现安全的缓策略，它主要完成两种功能：

(1)仅处理可以识别的HTTP方法，并且只缓存GET和HEAD方法

(2)不缓存任何用户特有的数据

安全起见，一般都在自定义的vcl_recv中不要使用return（）终止语句，而是再由默认vcl_recv进行处理，并有其做出响应的的处理决策

6.vcl_fetch

如前面所述，想对于vcl_recv是根据客户端的请求做出缓存策略来说，vcl_fetch则是根据服务器端的响应做出缓存决策，在任何VCL状态引擎中发挥pass操作都将有vcl_fetch进行后续处理。vcl_fetch中有许多可用的内置变量，比如最常见的用于定义某对象缓存时长的beresp.ttl变量，通过return()返回给varnish的操作指令有：

deliver：缓存此对象，并将其发送给客户端（经由vcl_deliver）

hit_for_pass：不缓存此对象，但可以导致后续对此对象的请求直接送达到vcl_pass进行处理

restart：重启整个VCL，并增加重启次数，超出max_restarts限定的最大重启次数将会发挥错误信息