Linux 虚拟设备-docker网络通信原理与分析

准备工作

1. ubuntu-mate 20.04.3 + docker环境
2. 虚拟网线设备(veth-pair,内核实现的驱动设备,当docker run -it ubuntu:22.04执行,启动一个docker镜像,]通过ifconfig可以发现一个网络设备)
   原理：veth-pair不是一个设备，而是一对设备,作为虚拟网线用于连接两个虚拟网络设备。veth pair 是根据数据链路层的 MAC 地址对网络数据包进行转发的过程来实现的，本质是反转通讯数据的方向，需要发送的数据会被转换成需要收到的数据重新送入内核网络层进行处理，从而间接的完成数据的注入工作。
3. 网桥设备(bridge，内核实现的驱动设备,docker安装后,系统会自动为其创建默认网桥docker0)
   
   网桥是一种对帧(数据帧)进行转发的技术，根据MAC分区块，可隔离碰撞，网桥将网络的多个网段在数据链路层连接起来，是连接两个局域网的一种存储/转发设备，它能将一个大的LAN分割为多个网段，或将两个以上的LAN互联为一个逻辑LAN，使LAN上的所有用户都可访问服务器。 扩展局域网最常见的方法是使用网桥，网桥的每个端口与一个网段相连。
4. 内核namespace: linux通过veth创建多个虚拟设备,使用网桥设备(bridge,充当二层交换机)让这些虚拟设备进行相互通信，在此虚拟化中，需要进行隔离，只有这样才能保证不同的容器之间复用硬件资源的同时，还不会影响其它容器的正常运行。
   在 Linux 上实现隔离的技术手段就是 namespace，通过 namespace 可以隔离容器的进程 PID、文件系统挂载点、主机名等多种资源。不过我们今天重点要介绍的是网络 网络（namespace），简称 netns。它可以为不同的命名空间从逻辑上提供独立的网络协议栈，具体包括**网络设备、路由表、arp表、iptables、以及套接字（socket）**等（很关键，当使用iptables对其路由规则查看，可以进入netns 进行查看，docker top docker ps|grep "keen_buck"|cut -d " " -f1，nsenter -n --target 822697，再进行iptables -t nat -L）。使得不同的网络空间就都好像运行在独立的网络中一样。
   

命令清单:

docker top `docker ps|grep "keen_buck"|cut -d " " -f1
nsenter -n --target 822697
iptables -t nat -L
route
iptables -S -t nat
exit #退出命令空间命令

docker原理

docker 让 veth1与veth2在同一个局域网内(bridge 充当二层交换机作用)
docker1与docker2通信过程如下：

1. docker1 往 veth1 上发送数据
2. 由于 veth1_p 是 veth1 的 pair， 所以这个虚拟设备上可以收到包
3. veth 收到包以后发现自己是连在网桥上的，于是乎进入网桥处理。在网桥设备上寻找要转发到的端口，这时找到了 veth2_p 开始发送。网桥完成了自己的转发工作
4. veth2 作为 veth2_p 的对端，收到了数据包
5. docker2 里的就可以从 veth2 设备上收到数据了

veth-pair数据包转发(实战)

1.与宿主机同一个网络命令空间实验

实验拓扑

创建veth-pair设备

ip link add veth0 type veth peer name veth1
ip link set veth0 up
ip link set veth1 up

给veth0添加IP

ip addr add 10.70.2.10/24 dev veth0

通过ifconfig可以查看到创建的veth设备

路由表

#route -n
内核 IP 路由表
目标            网关            子网掩码        标志  跃点   引用  使用 接口
0.0.0.0         11.247.242.1    0.0.0.0         UG    600    0        0 wlp4s0
10.70.2.0       0.0.0.0         255.255.255.0   U     0      0        0 veth0
192.168.1.0    0.0.0.0         255.255.254.0   U     600    0        0 wlp4s0
169.254.0.0     0.0.0.0         255.255.0.0     U     1000   0        0 docker0
172.17.0.0      0.0.0.0         255.255.0.0     U     0      0        0 docker0
#arp -n 
地址                     类型    硬件地址            标志  Mask            接口
192.168.1.1             ether   00:00:5e:00:01:6a   C                     wlp4s0
192.168.1.2             ether   44:e9:68:1b:25:71   C                     wlp4s0
10.70.2.11                       (incomplete)                              veth0

发送ping包

#ping 10.70.2.11
#tcpdump -n -i veth0
tcpdump: verbose output suppressed, use -v or -vv for full protocol decode
listening on veth0, link-type EN10MB (Ethernet), capture size 262144 bytes
11:40:13.140366 ARP, Request who-has 10.70.2.11 tell 10.70.2.10, length 28
11:40:14.164639 ARP, Request who-has 10.70.2.11 tell 10.70.2.10, length 28
11:40:15.188345 ARP, Request who-has 10.70.2.11 tell 10.70.2.10, length 28
11:40:16.212498 ARP, Request who-has 10.70.2.11 tell 10.70.2.10, length 28
#tcpdump -n -i veth1
tcpdump: verbose output suppressed, use -v or -vv for full protocol decode
listening on veth1, link-type EN10MB (Ethernet), capture size 262144 bytes
11:40:29.528375 ARP, Request who-has 10.70.2.11 tell 10.70.2.10, length 28
11:40:30.552338 ARP, Request who-has 10.70.2.11 tell 10.70.2.10, length 28
11:40:31.572343 ARP, Request who-has 10.70.2.11 tell 10.70.2.10, length 28
11:40:32.596568 ARP, Request who-has 10.70.2.11 tell 10.70.2.10, length 28
11:40:33.620337 ARP, Request who-has 10.70.2.11 tell 10.70.2.10, length 28
11:40:34.644333 ARP, Request who-has 10.70.2.11 tell 10.70.2.10, length 28

1. 第一次ping 10.70.2.11这个IP，此时arp表中没有相应记录，所以会发送一个ARP包
2. 当ARP包通过socket到达协议栈后，查询目的地址和系统路由，知道去10.70.2.11的数据包需要从10.70.2.10出去
3. 当ARP数据包到达veth0后，会直接将数据包丢给veth1，veth1接收到数据包后，会将数据包发送到协议栈，此时对比本机IP，发现没有10.70.2.11这个IP，故而会丢弃这个ARP包

veth1添加IP

ip addr add 10.70.2.11/24 dev veth1

路由表

#route -n
内核 IP 路由表
目标            网关            子网掩码        标志  跃点   引用  使用 接口
0.0.0.0         11.247.242.1    0.0.0.0         UG    600    0        0 wlp4s0
10.70.2.0       0.0.0.0         255.255.255.0   U     0      0        0 veth0
10.70.2.0       0.0.0.0         255.255.255.0   U     0      0        0 veth1
192.169.1.0    0.0.0.0         255.255.254.0   U     600    0        0 wlp4s0
169.254.0.0     0.0.0.0         255.255.0.0     U     1000   0        0 docker0
172.17.0.0      0.0.0.0         255.255.0.0     U     0      0        0 docker0
# ip neigh flush dev wlp4s0  清空ens33的arp表
# ip neigh flush dev veth0  
# ip neigh flush dev veth1

ubuntu20.04默认状态下不会响应ARP request包

删除操作

# 删除veth，删除其中一个veth pair都会删除
ip link del veth
ip link #发现link消失

不同命令空间虚拟网络设备创建待续。。。。。。。。。。