参考:https://www.phpmianshi.com/?id=115
在调试网络通信程序是tcpdump是必备工具。tcpdump很强大,可以看到网络通信的每个细节。如TCP,可以看到3次握手,PUSH/ACK数据推送,close4次挥手,全部细节。包括每一次网络收包的字节数,时间等。
tcpdump的选项
-a —— 将网络地址和广播地址转变成名字
-d —— 将匹配信息包的代码以人们能够理解的汇编格式给出
-dd —— 将匹配信息包的代码以c语言程序段的格式给出
-ddd —— 将匹配信息包的代码以十进制的形式给出
-e —— 在输出行打印出数据链路层的头部信息
-f —— 将外部的Internet地址以数字的形式打印出来
-l —— 使标准输出变为缓冲行形式
-n —— 不把网络地址转换成名字
-nn: 指定将每个监听到的数据包中的域名转换成IP、端口从应用名称转换成端口号后显示
-s 从每个分组中读取最开始的snaplen个字节,而不是默认的68个字节。 -s0 防止包截断
-t —— 在输出的每一行不打印时间戳
-v —— 输出一个稍微详细的信息,例如在ip包中可以包括ttl和服务类型的信息
-vv —— 输出详细的报文信息
-c —— 在收到指定的包的数目后,tcpdump就会停止
-F —— 从指定的文件中读取表达式,忽略其它的表达式
-i —— 指定监听的网络接口,如果不指定网卡,默认tcpdump只会监视第一个网络接口,一般是eth0
-r —— 从指定的文件中读取包(这些包一般通过-w选项产生)
-w —— 直接将包写入cap文件中,并不分析和打印出来,一般配合wireshark分析
-T —— 将监听到的包直接解释为指定的类型的报文,常见的类型有rpc (远程过程调用)和snmp(简单网络管理协议)
-X 告诉tcpdump命令,需要把协议头和包内容都原原本本的显示出来(tcpdump会以16进制和ASCII的形式显示),这在进行协议分析时是绝对的利器。
就是:dump the traffic on a network
tcpdump的表达式
类型的关键字要包括host,net,port
例如 host 210.27.48.2,指明 210.27.48.2是一台主机,net 202.0.0.0 指明 202.0.0.0是一个网络地址,port 23 指明端口号是23。如果没有指定类型,缺省的类型是host.
传输方向的关键字,主要包括src , dst ,dst or src, dst and src ,这些关键字指明了传输的方向
例如 src 210.27.48.2 ,指明ip包中源地址是210.27.48.2 , dst net 202.0.0.0 指明目的网络地址是202.0.0.0 。如果没有指明方向关键字,则缺省是src or dst关键字。
协议的关键字,主要包括fddi,ip,arp,rarp,tcp,udp等类型。Fddi指明是在FDDI(分布式光 纤数据接口网络)上的特定的网络协议,实际上它是”ether”的别名,fddi和ether具有类似的源地址和目的地址,所以可以将fddi协议包当作 ether的包进行处理和分析。其他的几个关键字就是指明了监听的包的协议内容。如果没有指定任何协议,则tcpdump将会监听所有协议的信息包。
其他重要的关键字:gateway, broadcast,less,greater,还有三种逻辑运算,取非运算是 ‘not ‘ ‘! ‘, 与运算是’and’,'&&’;或运算 是’or’ ,’││’;这些关键字可以组合起来构成强大的组合条件来满足人们的需要,下面举几个例子来说明。
A)跟10.66.151.82:6379(redis服务器)交互的所有tcp数据包(双向):
tcpdump tcp port 6379 and host 10.66.151.82 -X
16:53:01.883032 phpmianshi.com.36822 > 10.66.151.82.6379: Flags [S], seq 1943657014, win 29200, options [mss 1460,sackOK,TS val 814732894 ecr 0 ,nop,wscale 7], length 0 16:53:01.883220 IP 10.66.151.82.6379 > phpmianshi.com.36822: Flags [S.], seq 453036003, ack 1943657015, win 14480, options [mss 1424,sackOK,TS val 4119054316 ecr 814732894,nop,wscale 7], length 0 16:53:01.883234 IP phpmianshi.com.36822 > 10.66.151.82.6379: Flags [.], ack 1, win 229, options [nop,nop,TS val 814732894 ecr 4119054316], length 0 16:53:01.883358 IP phpmianshi.com.36822 > 10.66.151.82.6379: Flags [P.], seq 1:47, ack 1, win 229, options [nop,nop,TS val 814732894 ecr 411905431 6], length 29: RESP "AUTH" "password"
tcpdump的输出结果 总的的输出格式为:系统时间 来源主机.端口 > 目标主机.端口 数据包参数
16:53:01.883358 时间带有精确到微妙 IP 表示这个包在网路层,是IP包 phpmianshi.com.36822 > 10.66.151.82.6379 表示通信的流向,36822 是客户端,6379是服务器端 flags 标志由S(SYN), F(FIN), P(PUSH, R(RST),W(ECN CWT(nt | rep:未知, 需补充))或者 E(ECN-Echo(nt | rep:未知, 需补充))组成 [S] 表示这是一个SYN请求 [S.] 表示这是一个SYN+ACK确认包 [.] 表示这是一个ACK确认包 [P] 表示这个是一个数据推送,可以是从服务器端向客户端推送,也可以从客户端向服务器端推 [F] 表示这是一个FIN包,是关闭连接操作,client/server都有可能发起 [R] 表示这是一个RST包,与F包作用相同,但RST表示连接关闭时,仍然有数据未被处理。可以理解为是强制切断连接 win 29200是指滑动窗口大小 length 29指数据包的大小, 因为 SYN 包不带 TCP payload,所有信息都在 TCP header,所以length 为 0
截获主机hostname发送的所有数据
tcpdump src host hostname
监视所有送到主机hostname的数据包
tcpdump dst host hostname
监视指定协议的数据包
打印TCP会话中的的开始和结束数据包,
tcpdump 'tcp[tcpflags] & (tcp-syn|tcp-fin)!=0'
想获取115.159.122.65.3306之间建立TCP三次握手中带有SYN标记位的网络包.
tcpdump -n -nn 'host 115.159.122.65 and port 3306 and tcp[tcpflags] & tcp-syn!=0'
语法: proto [ expr : size]
Proto即protocol的缩写,它表示这里要指定的是某种协议名称,如ip,tcp,udp等,链路层协议 ether,fddi,tr,wlan,ppp,slip,link,网络层协议ip,ip6,arp,rarp,icmp,传输层协议tcp,udp等。
expr用来指定数据报字节单位的偏移量,该偏移量相对于指定的协议层,默认的起始位置是0;而size表示从偏移量的位置开始提取多少个字节,可以设置为
1、2、4,默认为1字节。如果只设置了expr,而没有设置size,则默认提取1个字节。比如ip[2:2],就表示提取出第3、4个字节;而ip[0]则表示提取ip协议头的
第一个字节。在我们提取了特定内容之后,我们就需要设置我们的过滤条件了,我们可用的“比较操作符”包括:>,<,>=,<=,=,!=,总共有6个。
举例:想截取每个TCP会话的起始和结束报文(SYN 和 FIN 报文), 而且会话中有一个远程主机.
tcpdump 'tcp[13] & 3 != 0 and not(src and dst net 172.16.0.0)' -nn
如果熟悉tcp首部报文格式可以比较容易理解这句话,因为tcp偏移13字节的位置为2位保留位和6位标志位(URG,ACK,PSH,RST,SYN,FIN), 所以与3相与就可以得出
SYN,FIN其中是否一个置位1.
从上面可以看到在写过滤表达式时,需要我们对协议格式比较理解才能把表达式写对。为了让tcpdump工具更人性化一些,有一些常用的偏移量,
可以通过一些名称来代替,比如icmptype表示ICMP协议的类型域、icmpcode表示ICMP的code域,tcpflags 则表示TCP协议的标志字段域。
更进一步的,对于ICMP的类型域,可以用这些名称具体指代:
icmp-echoreply,icmp-unreach, icmp-sourcequench, icmp-redirect,icmp-echo, icmp-routeradvert, icmp-routersolicit, icmp-timxceed, icmp-paramprob,icmp-tstamp, icmp-tstampreply, icmp-ireq, icmp-ireqreply, icmp-maskreq,icmp-maskreply。
而对于TCP协议的标志字段域,则可以细分为tcp-fin, tcp-syn, tcp-rst, tcp-push, tcp-ack, tcp-urg。
对于tcpdump 只能通过经常操作来熟练这些语句了。
tcpdump 与wireshark
Wireshark(以前是ethereal)是Windows下非常简单易用的抓包工具。但在Linux下很难找到一个好用的图形化抓包工具。
还好有Tcpdump。我们可以用Tcpdump + Wireshark 的完美组合实现:在 Linux 里抓包,然后在Windows 里分析包。
tcpdump tcp -i eth1 -t -s 0 -c 100 and dst port ! 22 and src net 192.168.1.0/24 -w ./target.cap
(1)tcp: ip icmp arp rarp 和 tcp、udp、icmp这些选项等都要放到第一个参数的位置,用来过滤数据报的类型
(2)-i eth1 : 只抓经过接口eth1的包
(3)-t : 不显示时间戳
(4)-s 0 : 抓取数据包时默认抓取长度为68字节。加上-S 0 后可以抓到完整的数据包
(5)-c 100 : 只抓取100个数据包
(6)dst port ! 22 : 不抓取目标端口是22的数据包
(7)src net 192.168.1.0/24 : 数据包的源网络地址为192.168.1.0/24
(8)-w ./target.cap : 保存成cap文件,方便用ethereal(即wireshark)分析
tcpdump 对截获的数据并没有进行彻底解码,数据包内的大部分内容是使用十六进制的形式直接打印输出的。显然这不利于分析网络故障,通常的解决办法是先使用带-w参数的tcpdump截获数据并保存到文件中,然后再使用其他程序(如Wireshark)进行解码分析。当然也应该定义过滤规则,以避免捕获的数据包填满整个硬盘。
对于复杂的 pcap,例如,其中包含了上百个 IP 地址、上千个端口、上万个连接的 pcap, 通过 tcpdump 看输出可能就比较低效了。
这时,wireshark 这样带图形用户界面,且功能强大的网 络流分析工具就派上了用场。
wireshark 支持强大的过滤功能,支持按 IP、端口、协议、连接、TCP flag 以及它们的各 种组合进行过滤,然后进行分析,大大节省网络排障的时间。
wireshark 官方维护了一个 sample pcap列表
使用技巧:
wireshark导入pcap文件,我们可以看到有TCP Retransmission的情况,右键=>跟踪流=>TCP流 就可以只看跟这个链接相关的流
从结果我们看到,由于没有ack包回复,触发客户端 TCP 超时重传
TCP 重传的机制:指数后退,比如第一次等待 1s,第二次等 待 2s,第三次等待 4s,第四次 8s,5次重传后链接超时
从这个抓包文件看,这次连接没有建立起来,client 没有收到 server 的应答包。要跟进这个问题,就需要在 server 端一起抓包,看应答包是否有发出来 。
TCPDUMP技巧
[技巧一]
使用-A选项,则tcpdump只会显示ASCII形式的数据包内容,不会再以十六进制形式显示;
[技巧二]
使用-XX选项,则tcpdump会从以太网部分就开始显示网络包内容,而不是仅从网络层协议开始显示。
[技巧三]
使用tcpdump -D 则tcpdump会列出所有可以选择的抓包对象。
[技巧四]
如果想查看哪些ICMP包中“目标不可达、主机不可达”的包,请使用这样的过滤表达式:
icmp[0:2]==0x0301
[技巧五]
要提取TCP协议的SYN、ACK、FIN标识字段,语法是:
tcp[tcpflags] & tcp-syn
tcp[tcpflags] & tcp-ack
tcp[tcpflags] & tcp-fin
[技巧六]
要提取TCP协议里的SYN-ACK数据包,不但可以使用上面的方法,也可以直接使用最本质的方法:
tcp[13]==18
[技巧七]
如果要抓取一个区间内的端口,可以使用portrange语法:
tcpdump -i eth0 -nn 'portrange 52-55' -c 1 -XX