TCPcopy仿真压测
参考：https://www.cnblogs.com/zhengyun_ustc/p/tcpcopy.html 真刀真枪压测：基于TCPCopy的仿真压测方案
一、为什么要做仿真测试
线下的传统压力测试，难以模拟真实流量，尤其难以模拟正常流量混杂着各色异常流量。所以，线下压得好好的系统，上线后可能某天突然雪崩，说好能支撑 5 倍流量的系统重构，也许流量一翻倍就彻底挂了。
但办法总比问题多。
（1）系统重构或重要变更上线前，可以拷贝线上真实流量，实时模拟线上流量，甚至可以放大真实流量，进行压力测试，以评估系统承载能力。
（2）反过来也可以这样，如果线上跑着跑着发现有性能瓶颈，但线下环境难以复现，还不如把真实流量拷贝到线下重放，毕竟线下环境便于上各种排查手段，重放几遍都行，直到找到问题
二、如何实时拷贝线上真实流量呢？
TCPCopy。TCPCopy 是一种请求复制（复制基于 TCP 的 packets）工具 ，通过复制在线数据包，修改 TCP/IP 头部信息，发送给测试服务器，达到欺骗测试服务器的TCP 程序的目的，从而为欺骗上层应用打下坚实基础
三、TCPCopy是如何工作的
Tcpcopy需要intercept的支持，tcpcopy负责抓包和发包工作，而intercept负责截获应答包
它的数据流转和部署架构如下图
TCPCopy是用来做TCP重放的，常用的场景是把线上流量复制到测试环境，用来排查线下不容易重现的问题，或者对测试环境做压力测试。
王斌讲过，基于 Server 的请求回放领域，一般分为离线回放和在线实时复制两种。
其中请求实时复制，一般可以分为两类：
1）基于应用层的请求复制 ，
2）基于底层数据包的请求复制。
如果从应用层面进行复制，比如基于服务器的请求复制，实现起来相对简单，但也存在着若干缺点：
1）请求复制从应用层出发，穿透整个协议栈，这样就容易挤占应用的资源，比如宝贵的连接资源 ，
2）测试跟实际应用耦合在一起，容易影响在线系统，
3）也因此很难支撑压力大的请求复制，
4）很难控制网络延迟。
而基于底层数据包的请求复制，可以做到无需穿透整个协议栈，路程最短的，可以从数据链路层抓请求包，从数据链路层发包，路程一般的，可以在IP层抓请求包，从IP层发出去，不管怎么走，只要不走TCP，对在线的影响就会小得多。这也就是 TCPCopy 的基本思路。
四、框架
如Figure1中所示，tcpcopy包括两部分：tcpcopy(client)和intercept(server)（后文中统一将tcpcopy-client称为tcpcopy，将tcpcopy-server称为intercept），当tcpcopy运行在生产服务器并从生产服务器抓取请求时，inteceptor运行在辅助服务器上进行一些辅助工作，例如，响应tcpcopy。切记，测试应用程序应该运行在测试服务器上。
（TCPCopy使用方法：
TCPCopy分为TCPCopy client(即tcpcopy)和TCPCopy server(即intercept)两部分。
其中TCPCopy client运行在在线服务器上面，用来捕获在线请求数据包；
TCPCopy server（默认监听端口为36524）运行在测试机器上面，用来截获响应包，并传递响应包头信息给TCPCopy client,以完成TCP交互。）
tcpcopy默认情况下使用socket输入技术在网络层抓取线上的数据包，做一些基本处理（包括：模拟TCP交互，网络控制，以及模拟传输层和应用层），使用socket输出技术发送数据包到测试服务器（如粉色箭头所示）
tcpcopy的测试服务器需要做的唯一操作是：设置适当的参数使响应信息发送到辅助服务器中（装intercept的服务器）（如绿色箭头所示）
intercept（默认）将响应信息传送给tcpcopy。通过抓取响应包，intercept提取响应头信息，并使用一个特殊的通道将响应头信息发送给tcpcopy（如紫色箭头所示）。当tcpcopy接受到响应头信息，它利用头信息修改在线打包器的属性并继续发送另一个包。应当注意，来自测试服务器的响应被路由到应该充当黑洞的辅助服务器。
对本次压测来说，20那台就是测试服务器（ts），21那台就是辅助服务器（as）
三、tcpcopy搭建
3.1 服务器规划
| 角色 | 主机名 | mysql端口 |
| online server | test00 | 3308(5.6) |
| assistant server | offline01 | |
| target server | offline02 | 3318(5.7) |
3.2 tcpcopy安装及配置
安装依赖
# yum -y install libpcap-develintercept安装
# git clone git://github.com/session-replay-tools/intercept.git# cd intercept# ./configure# make && make installtcpcopy安装
# git clone git://github.com/session-replay-tools/tcpcopy.git# cd tcpcopy# ./configure# make && make install
四、开启tcpcopy流量复制
4.1 target server上操作：
# route add -net 10.0.0.8 netmask 255.255.252.0 gw 10.0.0.0
成功后可以看到
# ss -an |headState Recv-Q Send-Q Local Address:Port Peer Address:Port
LISTEN 0 0 127.0.0.1:199 *:*
LISTEN 512 0 *:80 *:*
ESTAB 0 0 192.168.0.230:80 10.10.10.1:62602ESTAB 0 0 192.168.0.230:80 10.10.10.4:54595ESTAB 0 0 192.168.0.230:80 10.10.10.3:53566ESTAB 0 0 192.168.0.230:80 10.10.10.6:49260ESTAB 0 0 192.168.0.230:80 10.10.10.8:57598ESTAB 0 0 192.168.0.230:80 10.10.10.7:64454
4.2 assistant server上操作（root privilege）：
# cd /usr/local/intercept/sbin/
# ./intercept -i bond1 -F 'tcp and src port 3318' -d成功后可以看到
# ss -an |grep 36524LISTEN 0 5 *:36524 *:*
ESTAB 0 66 192.168.0.219:36524 192.168.0.8:49034 ESTAB 0 0 192.168.0.219:36524 192.168.0.8:49035 ESTAB 0 66 192.168.0.219:36524 192.168.0.8:49032 ESTAB 0 0 192.168.0.219:36524 192.168.0.8:49033
4.3 online source server 上操作（root privilege）：
# cd /usr/local/tcpcopy/sbin/# ./tcpcopy -x 3308-10.0.0.1:3318 -s 10.0.0.2 -c 10.0.0.8 -d成功后可以看到
#ss -an|grep 192.168.0.219ESTAB 0 0 192.168.0.8:49034 192.168.0.219:36524 ESTAB 0 0 192.168.0.8:49035 192.168.0.219:36524 ESTAB 0 0 192.168.0.8:49032 192.168.0.219:36524 ESTAB 0 0 192.168.0.8:49033 192.168.0.219:36524
五、tcpcopy遇到的坑
1、tcpcopy log日志提示many connections cant established
把tcpcopy指定的-c 伪装客户端ip换成和线上一致的，可以ping通的网段就可以
2、大多数云环境设置了安全限制，一个网卡无法绑定2个IP，所以online server则会拒绝发送复制包，在线上抓包就会显示
# tcpdump -i eth0 -nn port 3306 and host 1.1.1.411:53:58.573735 IP 10.0.0.1.https > 10.0.0.2.37121: Flags [R.], seq 0, ack 2906947315, win 0, length 0
11:53:58.573774 IP 10.0.0.2.37121 > 10.0.0.1.http: Flags [.], ack 2906947314, win 1024, length 0
11:53:58.573812 IP 10.0.0.1.http > 10.0.0.2.37121: Flags [R], seq 2906947314, win 0, length 0
tcpcopy拷贝一次流量访问的步骤如下：
1、一个访问请求到达线上内核后端机；2、socket 包在 IP 层被拷贝了一份传给tcpcopy 进程；3、tcpcopy 修改包的目的及源地址，发给测试内核后端机；4、拷贝的包到达测试内核后端机；5、测试内核后端机的推荐内核处理访问，并返回结果；6、返回结果在 IP 层被截获、丢弃，由 intercept 拷贝返回结果的 IP header 返回；7、IP header 被发送给线上内核后端机的 tcpcopy 进程。