flannel通信方式
目前比较成熟的flannel网络通信方式有UDP、VXLAN以及host-gw三种方式。
flannel的UDP通信方式
flannel作为一种overlay网络,而overlay的意思就是数据报文装在另一种网络包里,然后进行路由转发和通信。对于UDP通信方式来说,就是报文在进入实际物理网络之前,经过flannel,进行一层UDP封装,将报文作为payload发送给对端;对端收到UDP报文之后,flannel负责解包,得到真正的用户报文后,再转到真正的接收方。
总的来说,flannel跨主机通信的一系列的流程都可以用下面的一张图说明,
我们以发送icmp报文为例:
1、容器A发出ICMP请求报文:10.3.3.2 -> 10.3.83.2,根据容器A内的路由表,报文将发送到网关10.3.3.1,即docker0设备。
[root@container-a /]# route -n
Kernel IP routing table
Destination Gateway Genmask Flags Metric Ref Use Iface
0.0.0.0 10.3.3.1 0.0.0.0 UG 0 0 0 eth0
10.3.3.0 0.0.0.0 255.255.255.0 U 0 0 0 eth0
2、此时docker0再根据主机A上的路由表,报文将送到flannel0设备(10.3.3.0)。
[root@HOST-A ~]# route -n
Kernel IP routing table
Destination Gateway Genmask Flags Metric Ref Use Iface
0.0.0.0 192.168.52.2 0.0.0.0 UG 100 0 0 ens33
10.3.0.0 0.0.0.0 255.255.0.0 U 0 0 0 flannel0
10.3.3.0 0.0.0.0 255.255.255.0 U 0 0 0 docker0
192.168.52.0 0.0.0.0 255.255.255.0 U 100 0 0 ens33
3、flannel0是一个tun设备,工作在三层,因此flannel0接收到的是一个RAW IP包(无MAC信息)。随后,flanneld进程将接收报文,然后通过查询etcd数据库,根据目的容器IP,确定目的主机IP,最后进行UDP的封包。加上8个字节的UDP头,再加上20个字节的IP头:192.168.52.129:8285 -> 192.168.52.145:8285,发送给对端目标主机的flanneld进程。正是因为封包的UDP头和IP头,flannel网络设备的MTU为1472(1500-28),避免因为数据报文超过ens33的MTU而丢包。
flannel0: flags=4305
4、flanneld进程将打包好的UDP报文根据主机路由表发往ens33网卡。
5、主机A通过ens33网卡将UDP报文通过网络传输到主机B的ens33网卡。
6、主机B查询报文目的端口为8285(flanneld监听端口),因此将报文递交给flanneld进程。
[root@HOST-B /]# netstat -anup | grep flanneld
udp 0 0 192.168.52.145:8285 0.0.0.0:* 2778/flanneld
7、flanneld进程将报文解包,得到真正的ICMP请求报文:10.3.3.2 -> 10.3.83.2。
8、flannel0设备根据目标ip 10.3.83.2,匹配主机B的路由表,将解包后的报文递交给docker0。
[root@HOST-B /]# route -n
Kernel IP routing table
Destination Gateway Genmask Flags Metric Ref Use Iface
0.0.0.0 192.168.52.2 0.0.0.0 UG 0 0 0 ens33
10.3.0.0 0.0.0.0 255.255.0.0 U 0 0 0 flannel0
10.3.83.0 0.0.0.0 255.255.255.0 U 0 0 0 docker0
192.168.52.0 0.0.0.0 255.255.255.0 U 0 0 0 ens33
9、docker0最终将报文提交给容器B,10.3.83.2,处理完ICMP请求报文后,原路径发送ICMP应答报文。
抓包分析
根据上面的分析,我们可以通过tcpdump在各个网络接口上抓包,验证我们的分析。
我们同样以ICMP报文为例,
1、容器A -> veth
我们在主机A的vethb5898d1 抓取icmp报文,
[root@HOST-A ~]# tcpdump -i vethb5898d1 -p icmp -nn
tcpdump: verbose output suppressed, use -v or -vv for full protocol decode
listening on vethb5898d1, link-type EN10MB (Ethernet), capture size 262144 bytes
22:34:07.067929 IP 10.3.3.2 > 10.3.83.2: ICMP echo request, id 32, seq 1, length 64
22:34:07.069460 IP 10.3.83.2 > 10.3.3.2: ICMP echo reply, id 32, seq 1, length 64
可以看到, IP 10.3.3.2 > 10.3.83.2发起了icmp请求报文,然后收到对端的应答。
2、veth -> docker0
我们在主机A的docker0设备上抓取报文,
[root@HOST-A ~]# tcpdump -i docker0 -p icmp -nn
tcpdump: verbose output suppressed, use -v or -vv for full protocol decode
listening on docker0, link-type EN10MB (Ethernet), capture size 262144 bytes
22:37:36.997615 IP 10.3.3.2 > 10.3.83.2: ICMP echo request, id 33, seq 1, length 64
22:37:37.000023 IP 10.3.83.2 > 10.3.3.2: ICMP echo reply, id 33, seq 1, length 64
和在veth上抓取的报文是一样的,因为docker0只是转发报文,并没有做封装操作。
3、docker0 -> flannel0
在flannel0设备上抓包,
[root@HOST-A ~]# tcpdump -i flannel0 -p icmp -nn
tcpdump: verbose output suppressed, use -v or -vv for full protocol decode
listening on flannel0, link-type RAW (Raw IP), capture size 262144 bytes
22:39:30.628099 IP 10.3.3.0 > 10.3.83.2: ICMP echo request, id 34, seq 1, length 64
22:39:30.628666 IP 10.3.83.2 > 10.3.3.0: ICMP echo reply, id 34, seq 1, length 64
走到flannel0也还未封装,真正的封装是在flanneld进程中。但是我们发现这里源IP地址变化了,容器内的IP是10.3.3.2。这是因为系统对源IP进行了伪装,我们可以查看系统的iptables规则,在nat的POSTROUTING链中有以下规则,
*nat
......
-A POSTROUTING -s 10.3.3.0/24 ! -o docker0 -j MASQUERADE
所以从flannel0出来后源IP地址就变成了flannel0的地址。这样就隐藏了后端容器的IP,更为安全。当然也可以删除这条规则,并不会影响网络的通信。
4、flanneld进程 -> ens33
没办法在flannld进程上抓包,因此我们直接在ens33中抓包。此时因为已经经过flanneld进程的UDP封装,因此无法抓取icmp报文,只能抓取UDP报文。
[root@HOST-A ~]# tcpdump -i ens33 -p udp -nn
tcpdump: verbose output suppressed, use -v or -vv for full protocol decode
listening on ens33, link-type EN10MB (Ethernet), capture size 262144 bytes
23:16:44.689161 IP 192.168.52.129.8285 > 192.168.52.145.8285: UDP, length 84
23:16:44.689588 IP 192.168.52.145.8285 > 192.168.52.129.8285: UDP, length 84
可以看到UDP报文发往HOST B的8285端口,也就是flanneld进程。
我们可以将抓取的报文通过wireshark分析,
在报文的数据段,我们可以找到封装的容器内部IP信息,即10.3.3.0 > 10.3.83.2。