流量复制
把线上的真实流量引流到测试环境,模拟线上用户操作,让测试机和真实的用户交互,让测试环境在正式灰度前暴露问题,增加上线信心
流量复制的常见方案
一、基于应用层的请求复制
优点:实现简单
缺点:
1. 请求复制从应用层开始,要穿过整个协议栈,容易抢占应用资源,如连接资源
2.测试跟实际应用耦合在一起,容易影响线上机器,也无法复制大量请求
3. 很难控制网络延迟
二、基于底层数据包的请求复制
无需穿透整个协议栈,可以从数据链路层或者网络层做流量复制,不走tcp层,这样对线上机器的影响就会少很多
流量复制的两种类型:
1. 实时复制 ,实时的把线上流量复制到测试机
2. 离线复制,先把流量复制下来,保存在PCAP抓包文件中,然后在测试机离线回放
使用场景:
压力测试
回归测试
线上问题重现
架构及原理:
TCPCOPY包括三个部分:
1. tcpcopy :运行在线上机器,捕获线上请求
2. intercept: 运行在辅助机器,负责向tcpcopy发送响应信息。
3. 目标机器:被测机器
tcpcopy默认捕获网络层的包(也可以配置为捕获数据链路层的包),然后做一些必要的处理,将包发送给被测机器
tcpcopy拷贝一次流量访问的步骤如下:
① 一个客户请求到达线上机器;
② 拷贝IP层(或者数据链路层)的包到tcpcopy进程;
③ tcpcopy修改包的目的及源地址,发给目标测试机;
④ 拷贝的包到达目标测试机;
⑤ 目标测试机的应用处理访问,并返回结果给辅助机;
⑥ 返回结果在辅助机的数据链路层被截获,drop响应的body,copy返回的ip header;
⑦ 辅助机将响应header发送给线上机器的tcpcopy进程。
使用方式:
一、 实时复制流量
1. 目标机器配置路由 ,将响应包路由到辅助机
route add -net 1.1.1.0 netmask 255.255.255.0 gw 2.2.2.2
其中2.2.2.2 为辅助机, 1.1.1.0 为客户端地址
2. 辅助机捕获目标机器发来的响应包 (和抓包命令类似)
./intercept -F
例子:./intercept -i eth0 -F 'tcp and src port 8080' -d
捕获网卡 eth0 ,端口8080 基于tcp的包
3. 线上机器捕获包,并修改客户端地址,并把包发送给目标机器,等待辅助机发送响应包
./tcpcopy -x localServerPort-targetServerIP:targetServerPort -s
例子:
./tcpcopy -x 80-3.3.3.3:8080 -s 2.2.2.2 -c 1.1.1.0 -d #全流量复制
./tcpcopy -x 80-3.3.3.3:8080 -s 2.2.2.2 -c 1.1.1.0 -r 20 -d #复制20%的流量
./tcpcopy -x 80-3.3.3.3:8080 -s 2.2.2.2 -c 1.1.1.0 -n 2 -d #复制2倍流量
二、离线复制流量
使用tcpdump抓包
tcpdump -i eth0 -w test.pcap tcp and port 80 -c 100
流量回放
./tcpcopy -x 80-3.3.3.3:8080 -s 2.2.2.2 -c 1.1.1.0 -i test.pcap
遇到的问题:
编译intercept程序时报错 pcap.h can not found .需要安装libpcap-dev包:
apt-get install libpcap-dev
存在的问题:
1. 不支持加密协议https等 ,可以进行二次开发,但是略复杂
2. 可能会丢包:作者建议最好将三台机器部署在同一个网段,或者使用代理,可以降低丢包率
参考:
https://github.com/session-replay-tools/tcpcopy
http://www.cnblogs.com/zhengyun_ustc/p/tcpcopy.html