K8s的网络——Underlay和Overlay网络

0. 基础知识

1）网络7层基础知识

在网络7层协议基础里，

• 第一层物理链路；
• 第二层是数据链路层，在第一层的基础上引入MAC地址做数据转发。MAC地址在局域网内具有唯一性，主机A发送数据时，会向局域网内进行广播，每个主机根据mac地址自动匹配。网桥、交换机都是工作在数据链路层。由MAC地址构建的网络可以叫以太网。在网络中接入设备数据剧增后，要维护一张MAC地址表变得非常巨大，无法得以实施，引出了网络层。
• 第三层是网络层，IP地址模型。消息传递的时候，先通过IP确定两台主机是不是在同一个子网，如果在同一个子网，就直接交给交换机通过MAC地址通信；如果不是同一个子网，则将报文发送网关地址。发送给网关前，会通过ARP协议获取网关的MAC地址，主机根据MAC封装以太帧发送。
• IP数据包经过路由器后，一般是不会修改IP的（除非NAT转换），但是MAC地址会发生变化。 每经过一个路由器，MAC发生一次变化。

2）多台主机公用一个公网IP是怎么定位的

一台主机发送信息时，网关有一套路由规则将目标IP解析到一个端口中，当源IP要出局域网时，要通过NAT协议转换为公网IP，到达目的网关时，目的网关通过NAT将目标IP变成当前局域网IP。

3）LAN，VLAN和VXLAN

• LAN 表示 Local Area Network，本地局域网。一个 LAN 中的所有成员都会收到任意一个成员发出的广播包。LAN变大后，同步广播信息会造成链路冲突堵塞，所以交换机将大的LAN切分成多个小的逻辑LAN。
• VLAN（Virtual Local Area Network）即虚拟局域网，是将一个物理的LAN在逻辑上划分成多个广播域的通信技术。每个VLAN是一个广播域，VLAN内的主机间可以直接通信，而VLAN间则不能直接互通。交换机用于实现VLAN；每个交换机端口都分配有一个VLAN。
• VXLAN（Virtual eXtensible Local Area Network，虚拟扩展局域网），本质上是一种隧道技术，在源网络设备与目的网络设备之间的IP网络上，建立一条逻辑隧道，将用户侧报文经过特定的封装后通过这条隧道转发。
• 为什么要VXLAN：

  • 突破VLAN ID数量限制。

  • 突破TOR交换机MAC地址表限制：之前TOR（Top Of Rack）交换机的一个端口连接一个物理主机对应一个MAC地址，但现在交换机的一个端口虽然还是连接一个物理主机但是可能进而连接几十个甚至上百个虚拟机和相应数量的MAC地址。

  • 突破单条网络链路。VxLAN通过UDP封装，在三层网络上传输，可以利用一些基于三层的协议来实现多条线路共同工作（active-active），以实现负载均衡，例如ECMP，LACP。

4）网桥

网桥也叫桥接器，是连接两个局域网的一种存储/转发设备，它能将一个大的LAN分割为多个网段，或将两个以上的LAN互联为一个逻辑LAN，使LAN上的所有用户都可访问服务器。

当使用网桥连接两段LAN时，网桥对来自网段1的MAC 帧，首先要检查其终点地址。如果该帧是发往网段1 上某一站的，网桥则不将帧转发到网段2 ，而将其滤除；如果该帧是发往网段2 上某一站的，网桥则将它转发到网段2。

网桥的缺点：

• 网桥对接收的帧要先存储和查找站表，然后转发，这就增加了时延。
• 网络上负荷很重时，可能因网桥缓冲区的存储空间不够而发生溢出，以致产生帧丢失的现象。
• 具有不同MAC子层的网段桥接在一起时，网桥在转发一个帧之前，必须修改帧的某些字段的内容，以适合另一个MAC子层的要求，增加时延
• 网桥只适合于用户数不太多（不超过几百个）和信息量不太大的局域网，否则有时会产生较大的广播风暴。

1.Underlay网络

underlay网络是底层物理网络，负责网络之间的数据包传递。

在underlay网络中，各个设备之间必须通过路由协议来保证IP之间的连接性。underlay网络可以是2层，也可以是三层网络。2层网络通常应用于以太网，通过VLAN进行划分。三层网络在同一个自治域使用OSPF、IS-IS等协议进行路由控制，各个域之间采用BGP等协议做路由传递和互联。

underlay在一个较好的可用环境网络场景下适用，也有一些问题：

• 由于硬件根据目的IP进行转发，传输路径依赖是非严重；
• 新增或变更网络，重新配置十分耗时；
• 网络切片和分段实现负载，无法做到网络资源按需分配；
• 多路径转发依赖路由，无法融合多个底层网络来实现负载；

2.Overlay网络

为了摆脱underlay网络的限制，采用网络虚拟化技术，在underlay网络上构建虚拟的overlay网络。

互相连接的overlay网络设备之间建立隧道，数据包传输出去时，设备为数据包添加新的IP头好隧道头部，并且屏蔽掉内层IP头部，数据包根据新的IP头部进行转发。当数据包到达目的设备后，外部的IP都和隧道头被丢弃，恢复出原始的数据包。

overlay网络协议标准包括：VXLAN，NVGRE，SST，NVO3，EVPN等。

对比项	Underlay网络	Overlay网络
数据传输	通过网络设备例如路由器、交换机进行传输	沿着节点间的虚拟链路进行传输
包封装和开销	发生在网络的二层和三层	需要跨源和目的封装数据包，产生额外的开销
报文控制	面向硬件	面向软件
部署时间	上线新服务涉及大量配置，耗时多	只需更改虚拟网络中的拓扑结构，可快速部署
多路径转发	因为可扩展性低，所以需要使用多路径转发，而这会产生更多的开销和网络复杂度	支持虚拟网络内的多路径转发
扩展性	底层网络一旦搭建好，新增设备较为困难，可扩展性差	扩展性强，例如VLAN最多可支持4096个标识符，而VXLAN则提供多达1600万个标识符
协议	以太网交换、VLAN、路由协议（OSPF、IS-IS、BGP等）	VXLAN、NVGRE、SST、GRE、NVO3、EVPN
多租户管理	需要使用基于NAT或者VRF的隔离，这在大型网络中是个巨大的挑战	能够管理多个租户之间的重叠IP地址

overlay网络的缺点：

• 性能问题：Overlay网络使用VXLAN协议实现跨主机通信，会增加数据包的传输延迟，对网络性能有一定影响。
• 配置复杂：Overlay网络的配置比较复杂，需要进行多个配置步骤。
• 容易出错：由于Overlay网络的配置比较复杂。

3. docker 构建overlay网络

1. TCP 端口 2377，用来集群管理相关的通信；
2. TCP 和 UDP 端口 7946，用来进行节点之间的通信；
3. UDP 端口 4789，用来进行进行 overlay 网络上的数据传输。

-- 在主节点初始化docker swarm

docker swarm init

-- 在从节点加入swarm集群

    docker swarm join --token SWMTKN-1-3e3cne19my7mcmtv8u3v74j0pvyqbyk0yt2rzp48rozftoobh3-0h0pbf3bxxkqeqk9axfqetfux 172.30.171.123:2377

-- 在任意节点查看swarm

docker info

-- 在主节点创建一个overlay网络

docker network create overlaynet1 --driver overlay --subnet 172.45.0.0/16 --gateway 172.45.0.1

-- 查看swarm群节点

docker node ls

如果创建swarm集群服务，没有指定网络，将会默认连接到ingress网络。建议可以为每个系统的工作应用单独创建overlay网络。

-- 创建docker容器服务测试

docker service create -t --replicas 2 --network overlaynet1 --name alpine-overlay2 alpine:latest

-- 在主节点可以查看

-- 在从节点，可以看到有容器启动起来

-- 删除服务和删除网络

docker service rm my-nginx

docker network rm nginx-net

4. K8s的网络通信模式

1）overlay 网络&underlay 网络

• overlay网络
  • flannel vxlan， calico bgp, calico vxlan
  • 将pod地址信息封装在宿主机地址信息内，可以实现跨node子网通信。
• underlay网络
  • calico 
  • 为pod启动单独的虚拟机网络，透传给宿主机的物理网络。

2）K8s网络组件

• flannel 组件
  • flannel的基本原理是：借助etcd维护网络IP地址分配，为每一个pod分配一个不同的IP，容器之间网络通过隧道进行通信。
  • Cni0网桥设备，每创建一个pod都会创建一对veth pair，其中一端是pod的eth0，另一端是网桥中的网卡端口。

• Calico
  • Calico 是一个用于容器、虚拟机和主机的纯三层开源网络组建，使用BGP协议。
  •  IPIP模式：是一种隧道协议，也是一种overlay网络；
  • BGP模式：是一种路由协议，通过在每个节点运行BGP代理来实现容器间的通信。

3)为什么需要overlay网络

当前，越来越多的任务是跑在虚拟机上，而虚拟机会发生迁移（从一台物理服务器迁移到另一台），为保障业务不中断，要求虚拟机迁移过程后IP地址保持不变，但实际底层的物理链路可能已发生变化，需要overlay网络和集群虚拟机构建大二层网络。

5. K8s pod的网络抓包

1）网络基础知识

在Linux中，网络命名空间是独立的、隔离的逻辑空间；可通过lsns查看命名空间

集群中的每个 pod 都有一个在后台运行的隐藏容器，被称为 pause，负责创建和维持网络命名空间。

• 创建pod时，CNI会创建一个带有pause容器的网络命名空间；
• pod中所有的容器都会加入到创建的网络命名空间中
• CNI分配IP地址并将容器连接到网络

2）k8s的pod网络原则

• 集群中的pod都能与任何其他pod通信，无需使用网络地址转换；
• 集群节点上运行的任意程序都与同一节点上的任意pod通信
• 每个pod都有自己的IP地址。

2) 网络基础

深入理解lan、vlan、vxlan《OpenStack 网络》-阿里云开发者社区

百度百科-验证

什么是Overlay网络? Overlay网络 vs Underlay网络 - 华为

k8s 小记 - 网络_莫测之境的技术博客_51CTO博客