ATS 5.2.1中Background-Fetch插件调研笔记

简介

这是Apache Traffic Server(简称ATS)中的一个插件, 允许你从源站主动获取Object内容并填充到缓存中, 当你的所有或是大部分client request都是byte-ranged类型时, 这特别有用. 目前ATS并不能缓存byte0-range类型的request/response.

功能

检查回源的响应, 在原始的(客户端)请求满足下面条件时, 是否触发一条background fetch操作:

• 目前只支持GET请求
• 响应是206状态码
• 通过接口TSHttpTxnIsCacheable()判断响应是否可缓存

一旦确定要执行一次background fetch, 我们将去掉Range头, replay客户端请求, 再次通过Traffic Server的Proxy功能, 去回源请求, 这对于original request是透明的, 它会继续进行并不受任何影响.确保每个url最多只能有一次background fetch, 以免给Original Server意外增加额外的压力.

开启插件

在编译时, 开启如下配置选项,就会将plugings/experimental目录下面所有的模块的动态库都编译和安装进系统中

autoconf -i
./configure --enable-experimental-plugins
make

该插件既可以作为一个global插件,也可以作为一个per remap插件, 它后面带一个参数来指定配置文件的路径, 可以是绝对路径,也可以是相对于安装目录的路径.
使用方法:
1.in global mode
在plugin.config中添加一行

background_fetch.so –config background_fetch.config

2.in per remap mode
在remap.config中添加如下到一行特定的改写规则后面, 也就是可以实现对单条转发规则使用

@plugin=background_fetch.so @pparm=background_fetch.config

配置文件的内容

配置文件background_fetch.config中基于任意的Http header or Client-ip, 可以指定包含(include)或是排除(exclude)的规则, 比如

include User-Agent ABCDEF
exclude User-Agent *
exclude Content-Type text
exclude X-Foo-Bar text
exclude ip  1.2.3.4
exclude Client-IP *
exclude Content-Length <1000

尚待添加的功能

限制对某些大小的内容的background fetch

源码分析

和其他插件一样的代码结构, 这里只添加了一个READ_HTTP_RESPONSE_HDR Hook, 下面是基本的函数调用流程

TSPluginInit() ==> cont_handle_response() ==> is_background_fetch_allowed() ==> 
check_field_configured() ==> check_field_configured()
                        \\>cont_check_cacheable()==> data->initialize()
                                                \\>data->schedule()

对每个符合要求的http transaction, 会生成一个名为BGFetchData的continuation, 它的回调函数是cont_bg_fetch()
另外里面定义了几个数据结构:
static BgFetchRuleMap是一个全局的配置项数据结构
BGFetchConfig类定义了针对每个url的预取配置, BGFetchData类会引用它
插件一启动时会首先调用BGFetchConfig()来读取配置文件, 如果没有指定的配置文件,就使用全局的.