参考：https://www.cnblogs.com/cutemsyu/p/6051876.html

1、varnish程序环境

软件包：yum install varnish
/etc/varnish/varnish.params：配置varnish服务进程的工作特性，例如监听的地址和端口，缓存机制；
/etc/varnish/default.vcl：配置各Child/Cache线程的缓存；
主程序：/usr/sbin/varnishd
/usr/share/doc/varnish-4.0.4/builtin.vcl ---系统内置的一些VCL
Systemd Unit File：/usr/lib/systemd/system/varnish.service
程序架构：
Manager进程
Cacher进程，包含多种类型的线程：
accept, worker, expiry, ...
也就是一个主的Manager进程和一个子Cacher进程，Cacher进程分成很多个线程来处理用户的请求
shared memory log：
统计数据：计数器；
日志区域：日志记录；
varnishlog, varnishncsa, varnishstat...
配置接口：VCL
Varnish Configuration Language,
vcl complier --> c complier --> shared object

2、varnish的缓存存储机制( Storage Types)

malloc[,size]内存存储，[,size]用于定义空间大小；重启后所有缓存项失效；
file[,path[,size[,granularity]]]磁盘文件存储，黑盒；重启后所有缓存项失效；
persistent,path,size文件存储，黑盒；重启后所有缓存项有效；实验阶段，目前还没有使用；

3、VCL

Varnish Configuration Language
VCL有多个状态引擎，状态之间存在相关性，但状态引擎彼此间互相隔离；每个状态引擎可使用return(x)指明关联至哪个下一级引擎；每个状态引擎对应于vcl文件中的一个配置段，即为subroutine

image.png

4、变量类型

image.png

内建变量：
req.*：request，表示由客户端发来的请求报文相关；
req.http.*
req.http.User-Agent, req.http.Referer, ...
bereq.*：由varnish发往BE主机的httpd请求相关；
bereq.http.*
beresp.*：由BE主机响应给varnish的响应报文相关；
beresp.http.*
resp.*：由varnish响应给client相关；
obj.*：存储在缓存空间中的缓存对象的属性；只读；
常用变量：
bereq.*, req.*：
bereq.http.HEADERS
bereq.request：请求方法；
bereq.url：请求的url；
bereq.proto：请求的协议版本；
bereq.backend：指明要调用的后端主机；
req.http.Cookie：客户端的请求报文中Cookie首部的值； 
req.http.User-Agent ~ "chrome"
beresp.*, resp.*：
beresp.http.HEADERS
beresp.status：响应的状态码；
reresp.proto：协议版本；
beresp.backend.name：BE主机的主机名；
beresp.ttl：BE主机响应的内容的余下的可缓存时长；
obj.*
obj.hits：此对象从缓存中命中的次数；
obj.ttl：对象的ttl值，也就是有效期  
server.*
server.ip：varnish主机的IP；
server.hostname：varnish主机的Hostname；
client.*
client.ip：发请求至varnish主机的客户端IP；

5、/etc/varnish/varnish.params的配置

vim /etc/varnish/varnish.params
# Default address and port to bind to. Blank address means all IPv4
# and IPv6 interfaces, otherwise specify a host name, an IPv4 dotted
# quad, or an IPv6 address in brackets.
# VARNISH_LISTEN_ADDRESS=192.168.1.5    ---监听的地址，默认是本机的所有地址
VARNISH_LISTEN_PORT=6081    ---监听的端口

# Admin interface listen address and port    ---一个和varnishadm管理工具通讯的管理接口
VARNISH_ADMIN_LISTEN_ADDRESS=127.0.0.1---地址为本机，说明只能在本机上使用varnishadm命令管理缓存配置，这样比较安全
VARNISH_ADMIN_LISTEN_PORT=6082   ---监听的端口
varnish除了监听在6081端口之外，还监听在6082端口，varnishadm管理工具可以通过这个端口连接到varnish服务器，来管理varnish缓存的配置
# Shared secret file for admin interface   ---管理接口的共享秘钥文件
VARNISH_SECRET_FILE=/etc/varnish/secret   

# Backend storage specification, see Storage Types in the varnishd(5)
# man page for details.  
 RNISH_STORAGE="malloc,256M"   ---内存存储
RANSH_STORAGE="file,/data/cache/varnish.bin,2G"  ---磁盘文件存储，重启后所有缓存项失效
# User and group for the varnishd worker processes
VARNISH_USER=varnish
VARNISH_GROUP=varnish

6、搭建一个缓存服务，并测试缓存是否命中

image.png

1、在后端搭建好httpd服务
2、在varnish的设置
vim /etc/varnish/varnish.params 
VARNISH_LISTEN_PORT=80    ---将监听的端口改为80，这样在网站上访问的时候就不用输入端口号了
systemctl start varnish 
vim /etc/varnish/default.vcl
backend default {
    .host = "192.168.74.133";
    .port = "80";
}
sub vcl_deliver {    ---表示在投递给客户端的时候，给客户端的响应报文头部中给出是否命中
        if (obj.hits>0) {
                set resp.http.x-cache = "HIT via" + server.ip;
        }else {
                set resp.http.x-cache = "MISS from" + server.ip;
}
}
 varnish_reload_vcl   ---重新载入default.vcl配置文件
测试
在火狐浏览器上测试
http://172.18.21.107/test1.html   ---第一次访问时响应报文的头部显示没有命中，第二次访问的时候显示命中了
varnishadm -S /etc/varnish/secret -T 127.0.0.1:6082   ---可以利用这个管理工具来管理varnish的各种配置

7、设置对某资源的请求不缓存

vim /etc/varnish/default.vcl
sub vcl_recv {     ---表示如果请求的uri中是以下面两个字符串开头的就不缓存
        if (req.url ~ "(?i)^/(login|admin)") {   ---(?i)表示忽略大小写
                return(pass);
        }
}
varnishadm -S /etc/varnish/secret -T 127.0.0.1:6082
vcl.load test1 default.vcl  ---将test1这个配置载入配置文件中
vcl.use test1    ---用这个配置
vcl.list    ---查看配置
vcl.show test1   ---查看配置文件是否载入配置
测试
http://172.18.21.107/admin/index.html   ---发现不会缓存

8、对于特定类型的资源，例如公开的图片等，取消其私有标识，并强行设定其可以由varnish缓存

vim /etc/varnish/default.vcl
sub vcl_backend_response {      
        if (beresp.http.cache-control !~ "s-maxage") {  ---如果后端服务器响应给缓存服务器的响应报文中不包含s-maxage
                if (bereq.url ~ "(?i)\.(jpg|jpeg|png|gif|css|js)$") {  ---如果缓存服务器请求后端web服务器的url中包括以这些点结尾的文件
                        unset beresp.http.set-cookie;  ---不设定响应的cookie
                        set beresp.ttl = 3600s;   ---设定缓存时长为3600s
                }
        }
}
vcl.load test2 default.vcl
vcl.use test2
vcl.discard test1  ---删除某个配置
backend.list   ---查看后端主机

测试
http://172.18.21.107/simplelock.jpg  ---发现缓存

9、后端服务器可以看到真正的客户端地址

vim /etc/varnish/default.vcl
sub vcl_recv { 
        if (req.restarts == 0 ) {    ---如果客户端从新发请求的次数为0，也就是客户端没有重新发起请求
                if (req.http.X-Forwarded-For) {  ---如果请求的报文中含有首部X-Forwarded-For
                set req.http.X-Forwarded-For = req.http.X-Fordwarded-For + "," + client.   ---就设定首部的值是client
ip;
        }else{
                set req.http.X-Fordwarded-For = client.ip;  ---如果请求的报文中没有首部X-Forwarded-For就直接设定客户端地址
                }
        }
}
vcl.load test3 default.vcl
vcl.use test3
在后端的web服务器上的设置
vim /etc/httpd/conf/httpd.conf 
 LogFormat "%h %l %u %t \"%r\" %>s %b \"%{Referer}i\" \"%{User-Agent}i\" %{X-Forwarded-For}i" combined
service httpd reload
测试
curl 172.18.21.107
tail -f /var/log/httpd/access_log  ---在后端日志上监控可以看到客户端地址

10、缓存对象的修剪

1、purge方法
vim /etc/varnish/default.vcl
if (req.method == "PURGE") {    ---加到sub vcl_recv语句块里
                return(purge);
        }
sub vcl_purge {      ---此项可以不加，因为在默认的VCL里已经定义，cat /usr/share/doc/varnish-4.0.4/builtin.vcl可以看到
                    return (synth(200,"Purged"));
                }    ---此项的作用的是上面定义的返回purge后进行的操作，就返回一个合成的响应码200，"Purged"
vcl.load test5 default.vcl    ---加载配置到配置文件中
vcl.use test5  ---使用这个配置
在客户端curl -X PURGE 172.18.21.107/simplelock.jpg   ---X选项用于指明客户端请求的方法是purge
[root@centos6 network-scripts]#curl -X PURGE 172.18.21.107/simplelock.jpg -I
HTTP/1.1 200 Purged    ---可以看到这个合成的响应码
Date: Thu, 02 Nov 2017 11:21:34 GMT
Server: Varnish
X-Varnish: 163953
Content-Type: text/html; charset=utf-8
Retry-After: 5
Content-Length: 241
Connection: keep-alive
测试
http://172.18.21.107/simplelock.jpg    ---purge之后就没有缓存了
添加此类请求的访问控制法则
也就是acl控制列表，运行哪些客户端purge
示例
vim /etc/varnish/default.vcl
vcl 4.0;
acl purges {     ---在vcl 4.0下面定义一个acl
        "127.0.0.0"/8;
        "172.18.0.0"/16;
}
if (req.method == "PURGE") {    ---加到sub vcl_recv语句块里
                if (!client.ip ~ purges) {    ---如果客户端的地址不满足上面acl中定义的地址
                return(synth(405,"purging not allowed for " + client.ip));   ---就返回一个合成的状态码
                }
                return(purge);
        }
vcl.load test7 default.vcl   ---这些命令都是在另外一个窗口通过varnishadm管理工具实现的
use test7
测试curl -X PURGE 172.18.21.107/readblock.jpg    ----只能本机和这个网段的进行修剪
2、Banning
示例
varnishadm -S /etc/varnish/secret -T 127.0.0.1:6082
ban req.url ~ (?i).(jpg|jpeg)$     ---用命令行的方式ban掉一类缓存

总结：用purge修剪单个的缓存，用ban修剪一类缓存

11 、如何设定使用多个后端主机

vim /etc/varnish/default.vcl
backend default {
    .host = "192.168.74.133";
    .port = "80";
}
backend appsrv {
        .host = "192.168.74.129";
        .port = "80";
}
sub vcl_recv {
  if (req.url ~ "(?i)\.php$") {   
                set req.backend_hint = appsrv;
        }else{
                set req.backend_hint = default;
        }
}
vcl.load test8 default.vcl
vcl.use test8
backend.list     ---可以看到有两个后端主机
200        
Backend name                   Refs   Admin      Probe
default(192.168.74.133,,80)    8      probe      Healthy (no probe)
appsrv(192.168.74.129,,80)     1      probe      Healthy (no probe)
测试
http://172.18.21.107/index.php

12、实现负载均衡

vim /etc/varnish/default.vcl
vcl 4.0;
import directors;     ---要实现负载均衡要先导入这个模块
backend srv1 {
    .host = "192.168.74.133";
    .port = "80";
}
backend srv2 {
        .host = "192.168.74.129";
        .port = "80";
}
sub vcl_init {    ---初始化后端服务器组
        new srvs = directors.round_robin();   --定义一个服务器组为srvs，并设置调度算法为轮询,不支持权重，varnish有两种调度算法轮询和随机random
        srvs.add_backend(srv1);
        srvs.add_backend(srv2);   ---添加两个后端服务器到这个组中
}
sub vcl_recv {   
        set req.backend_hint = srvs.backend();    ---请求的后端主机是定义的服务器组
  if (req.url ~ "(?i)^/(login|admin)") {     ---为了看出轮询效果，定义一个不缓存的
                return(pass);
        }
}
vcl.load test9 default.vcl
vcl.use test9
测试
http://172.18.21.107/admin/index.html   ---可以发现轮询

13、基于cookie的session stick

sub vcl_init {
       new h = directors.hash(); ---定义一个服务器组为h，调度算法为哈希
       h.add_backend(srv1, 1);   
       h.add_backend(srv2, ,2);  ---添加两个服务器到组中，后面的1和2为权重，轮询算法不支持权重
                }
sub vcl_recv {
       set req.backend_hint = h.backend(req.http.cookie);   ----req.http.cookie表示请求报文中含有cookie的就调度到指定的后端服务器
                }

14、定义健康状态检测

vim /etc/varnish/default.vcl
probe check {    --定义一个检查方法为check
        .url = "/index.html";    ---检查的uri
        .window = 5;  ---定义一个窗口，基于最近的多少次检查来判断其健康状态； 
        .threshold = 4;   ---定义一个门槛，也就是上面定义的检查次数中有4次成功的才认为后端服务器是健康的
        .interval = 2s;   ---监控间隔
        .timeout = 1s;   ---超时时长
}
backend srv1 {
    .host = "192.168.74.133";
    .port = "80";
        .probe = check;
}
backend srv2 {
        .host = "192.168.74.129";
        .port = "80";
        .probe = check;    ---在两个后端服务器组中调用这个检测方法
}
vcl.load test10 default.vcl
vcl.use test10
backend.list    ---这是没有设定健康状态检查之前的状态
200        
Backend name                   Refs   Admin      Probe
default(192.168.74.133,,80)    2      probe      Healthy (no probe)
srv1(192.168.74.133,,80)       1      probe      Healthy (no probe)
srv2(192.168.74.129,,80)       1      probe      Healthy (no probe)
backend.list    ---设定之后我们发现Healthy 5/5
200        
Backend name                   Refs   Admin      Probe
default(192.168.74.133,,80)    2      probe      Healthy (no probe)
srv1(192.168.74.133,,80)       2      probe      Healthy 5/5
srv2(192.168.74.129,,80)       2      probe      Healthy 5/5
手动设定BE主机的状态：
sick：管理down; 
healthy：管理up；
auto：probe auto；
示例
backend.set_health srv1 sick    ---设置为down状态，可以用于灰度发布时使用，一批一批上线
200        
backend.list
200        
Backend name                   Refs   Admin      Probe
default(192.168.74.133,,80)    2      probe      Healthy (no probe)
srv1(192.168.74.133,,80)       2      sick       Healthy 5/5
srv2(192.168.74.129,,80)       2      probe      Healthy 5/5
backend.set_health srv1 healthy    ---设置为健康状态，即使这台主机真的坏了，也会往这台主机调度，最好不要这样设置
200        
backend.list
200        
Backend name                   Refs   Admin      Probe
default(192.168.74.133,,80)    2      probe      Healthy (no probe)
srv1(192.168.74.133,,80)       2      healthy    Healthy 5/5
srv2(192.168.74.129,,80)       2      probe      Healthy 5/5
backend.set_health srv1 auto  ---设定为自动状态，也就是根据健康状态检测情况决定
200        
backend.list
200        
Backend name                   Refs   Admin      Probe
default(192.168.74.133,,80)    2      probe      Healthy (no probe)
srv1(192.168.74.133,,80)       2      probe      Healthy 5/5
srv2(192.168.74.129,,80)       2      probe      Healthy 5/5
设置后端主机的健康检测的其他方法：
.connect_timeout = 0.5s;  指的是tcp连接建立的超时时长
.first_byte_timeout = 20s; 指的是tcp连接建立之后开始传输数据的第一个字节的超时时长
.between_bytes_timeout = 5s;传输一个字节之后再传输一个字节，两个字节之间的传输超时时间超过5秒定义为这台主机时不健康的
.max_connections = 50; 当前服务器的最大并发连接数等于50的时候定义为不健康的，这个生成中可能会用到

15、线程相关的参数设置

使用线程池机制管理线程；在线程池内部，其每一个请求由一个线程来处理；其worker线程的最大数决定了varnish的并发响应能力；
thread_pools：线程池的数量. 最好小于或等于CPU核心数量；
thread_pool_max：每线程池的最大线程数；
thread_pool_min：每个线程池的最小线程数，额外意义为“最大空闲线程数”；
最大并发连接数 = thread_pools * thread_pool_max
thread_pool_timeout：线程空闲时间，超过阈值则摧毁线程
thread_pool_add_delay：创建一个新线程的延迟时间，默认值为0s
thread_pool_destroy_delay：摧毁一个线程的延迟时间，默认值为2s；
如何修改varnish处于运行状态时的这些参数

varnishadm -S /etc/varnish/secret -T 127.0.0.1:6082
param.show -l   ---可以查看所有参数
param.set thread_pool 4  ---设置线程池数量为4个
param.show thread_pools   ---查看一下
param.set thread_pool_max 3000   ---设置每个池子中的最大线程
param.set thread_pool_max 3000
此时最大并发为12000

要想永久修改执行如下设置

vim /etc/varnish/varnish.params 
DAEMON_OPTS="-p thread_pool_min=100 -p thread_pool_max=3000 -p thread_pool_timeout=300 -p thread_pools=4 -r thread_pools,thread_pool_max,thread_pool_min"---用-r选项指明这些参数是只读的，不能进行修改
systemctl restart varnish
varnishadm -S /etc/varnish/secret -T 127.0.0.1:6082
param.show thread.pools
param.set thread_pools 2    ---发现不能设置，已经被写保护了
107        
parameter "thread_pools" is protected.

16、varnish日志

varnishlog   ---可以显示新生成的日志
varnishtop  ---动态的显示日志信息
varnishncsa --以combine的格式显示日志信息，这种格式是http日志的格式
varnishstat ---显示统计日志
varnishstat -l  --显示所有的字段名称列表
[root@centos7 varnish]#varnishstat -1 -f MAIN.cache_hit -f MAIN.cache_miss     ---可以显示命中的次数和未命中的次数，从而计算命中率，-f表示字段field，-1是只显示一次，不然会像top命令一样
MAIN.cache_hit               6         0.01 Cache hits
MAIN.cache_miss              3         0.00 Cache misses
varnishstat -1 -f MAIN    ---可以显示某个字段
[root@centos7 varnish]#varnishtop -1  ---一次性的显示过去的参数
[root@centos7 varnish]#varnishtop -i RespHeader   ---动态的显示某个指定的标签，-I支持正则表达式
list length 16                                               centos7.magedu.com

     1.17 RespHeader     Accept-Ranges: bytes
     1.12 RespHeader     Age: 0
     1.12 RespHeader     Via: 1.1 varnish-v4
     1.12 RespHeader     Connection: keep-alive
     1.12 RespHeader     x-cache: MISS from172.18.21.107
     0.67 RespHeader     X-Varnish: 9
[root@centos7 varnish]#varnishtop -x  RespHeader, RespStatus  ---表示除了RespHeader、RespStatus 的内容都显示出来，-X支持正则表达式
[root@centos7 varnish]#varnishtop -I  Resp.*   ---正则表达式匹配的是后面的内容，小写的时候匹配的是前面的标签
list length 3                                                centos7.magedu.com

     0.56 Timestamp  Resp: 1509634477.875729 0.001115 0.000280
     0.50 Timestamp  Resp: 1509634477.516917 0.002058 0.000363
     0.50 Timestamp  Resp: 1509634477.706995 0.001768 0.000230

如何永久的记录日志

[root@centos7 varnish]#systemctl start varnishncsa.service
[root@centos7 varnish]#cd /var/log/varnish/
[root@centos7 varnish]#ls
varnishncsa.log
[root@centos7 varnish]#tail varnishncsa.log 
[root@centos7 varnish]#tail varnishncsa.log -f 
172.18.254.200 - - [02/Nov/2017:23:02:09 +0800] "GET http://172.18.21.107/ HTTP/1.1" 200 32 "-" "Mozilla/5.0 (Windows NT 10.0; WOW64; Trident/7.0; rv:11.0) like Gecko"

要根据缓存服务器的负载情况决定是否启动日志功能

2018-10-17 缓存服务varnish

1、varnish程序环境

2、varnish的缓存存储机制( Storage Types)

3、VCL

4、变量类型

5、/etc/varnish/varnish.params的配置

6、搭建一个缓存服务，并测试缓存是否命中

7、设置对某资源的请求不缓存

8、对于特定类型的资源，例如公开的图片等，取消其私有标识，并强行设定其可以由varnish缓存

9、后端服务器可以看到真正的客户端地址

10、缓存对象的修剪

11 、如何设定使用多个后端主机

12、实现负载均衡

13、基于cookie的session stick

14、定义健康状态检测

15、线程相关的参数设置

16、varnish日志

你可能感兴趣的:(2018-10-17 缓存服务varnish)

2018-10-17 缓存服务varnish

1、varnish程序环境

2、varnish的缓存存储机制( Storage Types)

3、VCL

4、变量类型

5、/etc/varnish/varnish.params的配置

6、 搭建一个缓存服务，并测试缓存是否命中

7、设置对某资源的请求不缓存

8、对于特定类型的资源，例如公开的图片等，取消其私有标识，并强行设定其可以由varnish缓存

9、后端服务器可以看到真正的客户端地址

10、缓存对象的修剪

11 、如何设定使用多个后端主机

12、实现负载均衡

13、基于cookie的session stick

14、定义健康状态检测

15、线程相关的参数设置

16、varnish日志

你可能感兴趣的:(2018-10-17 缓存服务varnish)

6、搭建一个缓存服务，并测试缓存是否命中