ttlxihuan

linux下varnish4配置语法（基础）

varnish4 安装可以查看：http://php2012web.blog.51cto.com/5585213/1640182

VCL 说明文档：https://www.varnish-cache.org/docs/4.0/reference/vcl.html

varnish 配置基本上是编辑 VCL 文件,varnish 有一套自定义 VCL 语法，启动时，会将配置文件编译为C语言，再执行。

varnish 4.0开始，每个VCL文件必须在开始行声明它的版本“vcl 4.0;”

块（子程序）由大括号分隔，语句用分号结束。所有的关键字及预设子程序名都是全小写。

注意：4.0与3.0有部分变更，也就是配置文件有不兼容点。
https://www.varnish-cache.org/docs/4.0/whats-new/upgrading.html

1 . 配置文件必需要版本声明，如： vcl 4.0;

2 . 原req.request改为req.method

3 . 原vcl_fetch改变vcl_backend_response

4 . 原directors移到vmod_directors

5 . hash作为director，director已被删除

6 . vcl_error改为vcl_backend_error

7 . error code [reason] 改为 synth( code [,reason] )

8 . vcl_synth合成响应处理。直接修改resp.http对象，而不是obj.http。

9 . 在vcl_backend_error使用beresp对象取代原vcl_error使用obj对象。

10 . 使用beresp.uncacheable创建hit_for_pass对象。如：

sub vcl_backend_response {
    if (beresp.http.X-No-Cache) {
        set beresp.uncacheable = true;
        set beresp.ttl = 120s;
        return (deliver);
    }
}

11 . req在vcl_backend_response不可使用；原vcl_fetch可用，但变更后只能在vcl_backend_response使用bereq。

12 . 任何自定义的子程序不能使用 vcl_* 命令方式。

13 . req.backend.healthy使用方法换成std.healthy(req.backend_hint)，并且还得import std模块。

14 . client.port和server.port分别使用方法改成 std.port(client.ip)和std.port(server.ip)。

15 . purge已经弃用，缓存失效需要从vcl_recv通过return (purge)而不是 purge;

16 . obj全只读，obj.last_use已经弃用。

17 . 返回值变更：（除 synth(code[,reason]) 外）

vcl_recv 使用 return hash 代替 return lookup

vcl_hash 使用 return lookup 代替 return hash

vcl_pass 使用 return fetch 代替 return pass

18 . 原后端重启（return (restart)）改为重试（return(retry)）并且进入vcl_backend_fetch处理。

19 . remove关键字已经被弃用使用 unset 代替。

20 . X-Forwarded-For设置移动到vcl_recv之前处理。

21 . session_linger改名为timeout_linger 并且时间单位为秒（原来是毫秒）。

22 . sess_timeout改名为timeout_idle。

23 . sess_workspace弃用。

24 . thread_pool_purge_delay改名为thread_pool_destroy_delay 并且单位为秒（原来是毫秒）。

25 . thread_pool_add_delay和thread_pool_fail_delay时间单位匀改为秒（原来是毫秒）。

支持运算符：

= （赋值运算）

== （相等比较）

~ （匹配，可以使用正则表达式，或访问控制列表）

!~ （不匹配，可以使用正则表达式，或访问控制列表）

！（非）

&& （逻辑与）

|| （逻辑或）

条件语句：

if 和 else

允许使用多层条件 elseif （elseif|elsif|elif|else if 都可以代表elseif）

数据类型：

字符串，布尔值，时间，持续时间，整数

设置变量：

set req.http.User-Agent="test";

删除变量：

unset req.http.Range;

字符串：

使用 "" 符号（不能使用单引号）；直接使用 "" 不能包含换行符，如果是长字符可以使用 {"...."} 可以包含任意字符。

注意：字符串连接使用 + 操作符。

布尔值：

true 或 false

时间：

VCL自带时间函数 now 返回的是时间字符串。

持续时间：

就是一个时间代号，由数值和时间范围组成。

时间范围有：

ms （毫秒）

s （秒）

m （分钟）

h （小时）

d （天）

w （周）

y （年）

如： 1.5d 就表示是 1.5 天

整数，实数：

VCL允许整数或实数的设置，但返回时为字符串。

正则表达式：

兼容 PCRE ，使用时要外加引号，前面得使用 ~ 运算符。如：req.http.host ~ "varnish.com$"

引入其它VCL文件：

当配置文件过大，或复杂时，可以考虑把配置文件拆分成多个vcl文件，然后引入到入口配置文件中，以便管理，如：

include 'public.vcl';

import 加载VMOD模块：

VCL 自带很多VMOD模块，使用前必须加载进来。如：

import std;

sub vcl_recv{

std.log('success');

}

注释：

支持 // 或 # 多行时还可以使用 /* .. */

后端定义：

实际上就是给varnish添加可供访问的web服务器，如果有多台web服务器时，可添加多个backend块。

命令：backend。这个定义为最基本的反向入口定义，用于varnish连接对应的服务器，如果没有定义或定义错误则用户无法访问正常页面。

语法格式：

backend name{
    .attribute = "value";
}

说明：backend 是定义后端关键字，name 是当前后端节点的别名，多个后端节点时，name 名不能重复，否则覆盖。花括号里面定义当前节点相关的属性（键=值）。除默认节点外其它节点定义后必需有调用，否则varnish无法启动。后端是否正常可以通过std.healthy(backend)判断。

属性列表：

.host="127.0.0.1"; //要转向主机IP或域名，必填键/值对。

.port="8080"; //主机连接端口号或协议名（HTTP等），默认80

.host_header=''; //请示主机头追加内容

.connect_timeout=1s; //等待后端连接的时间

.first_byte_timeout=5s; //等待从后端返回的第一个字节时间

.between_bytes_timeout=2s; //每接收一个字节之间等待时间

.probe=probe_name; //监控服务器访问状态,指定外部监控name或者内部直接添加

.max_connections=200; //设置最大并发连接数，超过这个数后连接就会失败

注意：时间相关的值可以使用 持续时间 组成的值，时间与连接数是限定条件，如果超出条件则会连接失败，所以没有特别情况，不推荐使用；监控器，是判定服务器是否正常的组件，可以直接在后端内定义或指定外部定义的监控name名。

例：（下面两个例子结果是一样的，但第二个例子中更适用于集群，可以方便批量修改）

backend web{
    .host="127.0.0.1";
    .port="8080";
    .probe={          //直接追加监控块
        .url="/";
        .timeout=2s;
    }
}

或

probe web_probe{   //监控必需定义在前面，否则后端调用找不到监控块。
    .url="/";
    .timeout=2s;
}

backend web{
    .host="127.0.0.1";
    .port="8080";
    .probe=web_probe;   //调用外部共用监控块
}

监控器（探头）：

命令：probe 。监控可以循环访问指定的地址，通过响应时间判定服务器是否空闲或正常。这类命令非常适用于集群中某些节点服务器崩溃或负载过重，而禁止访问这台节点服务器。

语法格式：

probe name{
    .attribute = "value";
}

说明：probe 是定义监控关键字，name 是当前监控点的别名，多个监控节点时，name 名不能重复，否则覆盖。花括号里面定义当前节点相关的属性（键=值）。

没有必填属性，因为默认值就可以正常执行操作。

属性列表：

.url="/"; //指定监控入口URL地址，默认为"/"

.request=""; //指定监控请求入口地址，比 .url 优先级高。

.expected_response="200"; //请求响应代码，默认是 200

.timeout=2s; //请求超时判断范围。

.interval=5s; //每次轮询请求间隔时间,默认为 5s 。

.initial=-1; //初始启动时以.window轮询次数中几次良好后续才能使用这个后端服务器节点，默认为 -1 ，则轮询完 .window 所有次数良好判定为正常。

.window=8; //指定多少轮询次数，用于判定服务器正常，默认是 8。

.threshold=3; //必须多少次轮询正常才算该后端节点服务器正常,默认是 3。

访问控制列表（ACL）：

创建一个地址列表，用于后面的判断，可以是域名或IP集合。这个可以用于指定某些地址请求入口，防止恶意请求等。

语法格式：

acl name{
    "127.0.0.1";
    "localhost";
    !"192.168.134.01";
}

说明：acl 是访问列表关键字（必需小写），name 是该列表的别名用于调用，花括号内部是地址集。

注意：如果列表中包含了无法解析的主机地址，它会匹配任何地址，如果不想让它匹配所有地址可以在前添加一个 ! 符号，如上面 !"192.168.134.01";

使用ACL只需要用匹配运算符 ~ 或 !~ 如：

if(client.ip ~ name){
    return (pipe);
}

VCL对象:

vcl对象需要使用new关键字创建，所有可创建对象都是内定的，使用前必需import，所有new操作只能在vcl_init子程序中。

例：

sub vcl_init {
    new b = directors.round_robin()
    b.add_backend(node1);
}

集群负载均衡directors:

directors是varnish负载均衡模块，使用前必需引入directors模块，directors模块包含：round_robin，fallback，random，hash四个对象即四种负载均衡模式。

round_robin : 循环依次逐个选择后端服务器。

fallback ：依次选择第一个正常的后端服务器。

random ：随机选择后端服务器，可设置每个后端权重增加随机率。

hash : 通过散列随机选择对应的后端服务器且保持选择对应关系，下次则直接找对应的后端服务器。

注意：random，hash 有权重值设置，用于提高随机率。选中的后端需要设置到req.backend_hint中。每个后端最好都配置监控器（后端服务器正常监测）以便directors自动屏蔽不正常后端而不进入均衡列队中。vcl_backend_error中最好使用 return(retry); 重试后端动作以便能跨过不正常后端（重试后端次数受配置值max_retries影响默认为4次）当使用hash均衡模式时还得清除当前缓存否则重试还是原后端服务器。

round_robin例：

函数集：

round_robin.add_backend( backend ); 添加后端服务器节点，backend 为后端配置别名。

round_robin.backend(); 循环提取后端节点

说明：round_robin从请求个数上均匀的分配后端服务器，只要处理好后端错误能很好避开有问题的后端服务器。

import directors;

//初始化处理
sub vcl_init{
    new vdir=directors.round_robin(); //创建对象
    vdir.add_backend(web1);           //添加后端服务器节点
    vdir.add_backend(web2);
}
//开始处理请求
sub vcl_recv{
    set req.backend_hint=vdir.backend();//选取后端
}

fallback例：

函数集：

fallback.add_backend( backend ); 添加后端服务器节点，backend 为后端配置别名。

fallback.backend(); 依次提取第一个正常后端节点。

说明：fallback依次检查后端节点返回第一个正常后端节点（这个检查是通过后端监控器完成的，所以并不能及时找出不正常后端），请求会一直堆积在第一台正常后端服务器，给这个节点造成压力，只要处理好后端错误能很好避开有问题的后端服务器。

import directors;

//初始化处理
sub vcl_init{
    new vdir=directors.fallback();    //创建对象
    vdir.add_backend(web1);           //添加后端服务器节点
    vdir.add_backend(web2);
}
//开始处理请求
sub vcl_recv{
    set req.backend_hint=vdir.backend();//选取后端
}

random例：

函数集：

random.add_backend( backend , real ); 添加后端服务器节点，backend 为后端配置别名，real 为权重值，随机率计算公式：100 * (当前权重 / 总权重)。

random.backend(); 随机提取后端节点

说明：随机选中一台后端服务器，只要处理好后端错误能很好避开有问题的后端服务器。

import directors;

//初始化处理
sub vcl_init{
    new vdir=directors.random(); //创建对象
    vdir.add_backend(web1,5);    //添加后端服务器节点，并且设置高权重值。
    vdir.add_backend(web2,2);    //添加后端服务器节点，并且设置低权重值。
}
//开始处理请求
sub vcl_recv{
    set req.backend_hint=vdir.backend();//选取后端
}

hash例：

函数集：

hash.add_backend( backend , real ); 添加后端服务器节点，backend 为后端配置别名，real 为权重值，随机率计算公式：100 * (当前权重 / 总权重)。

hash.backend(); 使用hash值提取后端节点

说明：第一次创建hash键值时随机提取一台后端服务器，后续按对应的键值直接提取，不能很好的避开坏节点。

import directors;

//初始化处理
sub vcl_init{
    new vdir=directors.hash(); //创建对象
    vdir.add_backend(web1,5);    //添加后端服务器节点，并且设置高权重值。
    vdir.add_backend(web2,2);    //添加后端服务器节点，并且设置低权重值。
}
//开始处理请求
sub vcl_recv{
    set req.backend_hint=vdir.backend(req.url);//以请求地址为hash选取后端
}

子程序：

子程序是一种类似C的函数，但了程序没有调用参数，也没有返回值，子程序以 sub 关键字定义。在VCL里子程序是用于管理程序。调用一个子程序使用 call 关键字。

声明子程序例：

sub name{
    if(client.ip == "192.168.134.168"){
        return (pipe);
    }
}

调用子程序例：

sub vcl_recv{
    call name;
}

注意：所有VCL内置的程序都是以 vcl_ 开头，并已经预置好，在VCL文件中只要声明对应的内置子程序，都会在对应的流程中调用。所有自定义的子程序自4.0开始不能以 vcl_ 开头。子程序数据交互只有通过全局变量来传递。

return 语句：

return 语句是终止子程序并返回动作，所有动作都根据不同的vcl子程序限定来选用。

https://www.varnish-cache.org/docs/4.0/users-guide/vcl-built-in-subs.html

语法：return(action);

常用的动作：

abandon 放弃处理，并生成一个错误。
deliver 交付处理
fetch 从后端取出响应对象
hash 哈希缓存处理
lookup 查找缓存对象
ok 继续执行
pass 进入pass非缓存模式
pipe 进入pipe非缓存模式
purge 清除缓存对象，构建响应
restart 重新开始
retry 重试后端处理
synth(status code,reason) 合成返回客户端状态信息

预设变量：

预设变量是系统固定的，请求进入对应的vcl子程序后便生成，这些变量可以方便子程序提取，当然也可以自定义一些全局变量。

注：预设变量存在读写限制，vcl_all 是vcl配置中所有子程序，backend 是后端处理相关子程序（如vcl_backend_fetch，vcl_backend_response，vcl_backend_error），client请求处理相关子程序不含后端backend，vcl_init，vcl_fini其它子程序。（未指定读或写范围，则为对应操作不存在）。

当前时间：

now

数据类型：time

读：vcl_all

作用：返回当前时间戳，全局可读但不可写。

客户端：（客户端基本信息）

注：原client.port已经弃用，如果要取客户端请求端口号使用 std.port(client.ip)，需要import std;才可以使用std

client.ip

数据类型：IP

读：client

作用：返回客户端IP地址。

说明：

client.identity

数据类型：字符串

读：client

写：client

作用：用于装载客户端标识码。

服务器：（服务器基本信息）

注：原server.port已经弃用，如果要取客户端请求端口号使用 std.port(server.ip)，需要import std;才可以使用std

server.hostname

数据类型：字符串

读：vcl_all

作用：服务器主机名。

server.identity

数据类型：字符串

读：vcl_all

作用：服务器身份标识。可由varnishd 启动的-i 参数决定，如果没有设置-i 则为该实例的名称（受 -n 参数影响）。

server.ip

数据类型：IP

读：client

作用：用于装载客户端标识码。

bereq：（发送到后端的请求对象，基于req对象）

注：bereq可读写是随着对应子程序所在处理流程所产生的影响不一样，比如在vcl_pipe中处理bereq是无法影响到请求后端，因为到vcl_pipe中后端请求已经发送。

bereq

数据类型：HTTP

读：backend

作用：整个后端请求后数据结构。

bereq.backend

数据类型：backend

读：backend , vcl_pipe

写：backend , vcl_pipe

作用：所请求后端节点配置。

bereq.between_bytes_timeout

数据类型：持续时间

读：backend

写：backend

作用：从后端每接收一个字节之间的等待时间（秒），缓冲接收，（pipe模式无效）。

bereq.connect_timeout

数据类型：持续时间

读：backend , vcl_pipe

写：backend , vcl_pipe

作用：连接后端等待时间（秒），最大等待时间。

bereq.first_byte_timeout

数据类型：持续时间

读：backend

写：backend

作用：等待后端第一个字节时间（秒），最大等待时间，（pipe模式无效）。

bereq.http

数据类型：header

读：backend , vcl_pipe

写：backend , vcl_pipe

作用：对应发送到后端HTTP的header信息。

bereq.method

数据类型：string

读：backend , vcl_pipe

写：backend , vcl_pipe

作用：发送到后端的请求类型（如：GET , POST）。

bereq.proto

数据类型：string

读：backend , vcl_pipe

写：backend , vcl_pipe

作用：发送到后端的请求的HTTP版本。

bereq.retries

数据类型：int

读：backend

作用：相同请求重试计数。

bereq.uncacheable

数据类型：bool

读：backend

作用：无缓存这个请求。

bereq.url

数据类型：string

读：backend , vcl_pipe

写：backend , vcl_pipe

作用：发送到后端请求的URL。

bereq.xid

数据类型：string

读：backend

作用：请求唯一ID。

beresp：（后端响应请求对象）

beresp

数据类型：HTTP