3.CNI网络

CNI网络

• K8S 中 Pod 网络通信：

  • Pod 内容器与容器之间的通信
    • 在同一个 Pod 内的容器（Pod 内的容器是不会跨宿主机的）共享同一个网络命令空间，相当于它们在同一台机器上一样，可以用 localhost 地址访问彼此的端口。
  • 同一个 Node 内 Pod 之间的通信
    • 每个 Pod 都有一个真实的全局 IP 地址，同一个 Node 内的不同 Pod 之间可以直接采用对方 Pod 的 IP 地址进行通信，Pod1 与 Pod2 都是通过 Veth 连接到同一个 docker0 网桥，网段相同，所以它们之间可以直接通信。
  • 不同 Node 上 Pod 之间的通信
    • Pod 地址与 docker0 在同一网段，docker0 网段与宿主机网卡是两个不同的网段，且不同 Node 之间的通信只能通过宿主机的物理网卡进行。
    • 要想实现不同 Node 上 Pod 之间的通信，就必须想办法通过主机的物理网卡 IP 地址进行寻址和通信。因此要满足两个条件：Pod 的 IP 不能冲突；将 Pod 的 IP 和所在的 Node 的 IP 关联起来，通过这个关联让不同 Node 上 Pod 之间直接通过内网 IP 地址通信。

• Overlay Network：
  叠加网络，在二层或者三层基础网络上叠加的一种虚拟网络技术模式，该网络中的主机通过虚拟链路隧道连接起来（类似于VPN）。

• kubernetes三种网络

• K8S三种网络
  • 节点网络：node节点网卡的IP，nodeIP
  • Pod网络：podIP
  • service网络：clusterIP
• k8s三种接口
  • CRI：容器运行时接口，docker、containerd，podman，cri-0
  • CNI：容器网络接口，flannel，calico，cilium
  • CSI：容器存储接口，ceph，nfs，gfs

Flannel

• Flannel 的功能是让集群中的不同节点主机创建的 Docker 容器都具有全集群唯一的虚拟 IP 地址。
• Flannel 是 Overlay 网络的一种，也是将 TCP 源数据包封装在另一种网络包里面进行路由转发和通信，目前支持 udp、vxlan、 host-GW 3种数据转发方式。
• flannel三种模式
  • UDP：出现最早，性能较差，基于flanneld应用程序实现数据包的封装和解封装
  • VXLAN：默认模式，推荐使用的模式，性能比UDP模式更好，基于内核实现数据包的封装和解封装
  • Host-gw：性能最好，但是配置复杂，不能跨网段

UDP模式

• flannel UDP模式工作原理
  1. 应用数据包从源主机的POd容器发出到cni0网桥接口，再由cni0转发到flannel0虚拟接口
  2. flanneld服务会监听flannel0接口接收到的数据，flanneld服务会将内部数据封装到UDP报文里
  3. flanneld会根据再etcd中维护的路由表查到目标pod所在的node节点IP，在UDP报文外在封装node节点的IP报文、MAC报文后，通过物理网卡发送到目标node节点
  4. UDP报文通过8285号端口送到目标主机的flanneld进程进行解封装，再通过flannel0接口转发到cni0网桥，然后通过cni0网桥转发到目标pod容器

VXLAN模式

• vxlan 是一种overlay（虚拟隧道通信）技术，通过三层网络搭建虚拟的二层网络，跟 udp 模式具体实现不太一样:

1. udp模式是在用户态实现的，数据会先经过tun网卡，到应用程序，应用程序再做隧道封装，再进一次内核协议栈，而vxlan是在内核当中实现的，只经过一次协议栈，在协议栈内就把vxlan包组装好
2. udp模式的tun网卡是三层转发，使用tun是在物理网络之上构建三层网络，属于ip in udp，vxlan模式是二层实现， overlay是二层帧，属于mac in udp
3. vxlan由于采用mac in udp的方式，所以实现起来会涉及mac地址学习，arp广播等二层知识，udp模式主要关注路由

• flannel VXLAN模式工作原理

1. 原始数据帧从源主机的POd容器发出到cni0网桥接口，再由cni0转发到flannel.1虚拟接口
2. flannel.1接口接收到数据帧后添加VXLAN头部，再内核封装成UDP报文
3. falnneld会根据再etcd维护的路由表通过物理网卡发送到目标node节点
4. UDP报文通过8472号端口送到目标主机的flannel.1接口，在内核进行解封装，然后将原始报文通过cni0网桥转发到目标pod容器

部署flannel

###在node01节点上
##上传压缩包到  /opt/k8s

flannel-v0.21.5.zip

unzip flannel-v0.21.5.zip

##创建 cni 工作目录
mkdir -p /opt/cni/bin

cni-plugins-linux-amd64-v1.3.0.tgz
flannel-cni-plugin.tar
flannel.tar
kube-flannel.yml

###解压  cni  配置文件
tar xf cni-plugins-linux-amd64-v1.3.0.tgz -C /opt/cni/bin

##加载镜像文件
docker load -i flannel.tar
docker load -i flannel-cni-plugin.tar

###node02节点，采用相同的操作

###发送 kube-flannel.yml  到master01 的/opt/k8s目录中
cd /opt/k8s
scp kube-flannel.yml 192.168.242.66:/opt/k8s

##在  mater01 节点操作
##安装网络插件
cd /opt/k8s
kubectl apply -f kube-flannel.yml

##卸载安装的网络插件
##一个 k8s 集群中只能安装一个网络插件
kubectl delete -f 插件配置文件 

##查看网络查看的运行状态
kubectl get pods -A

##查看nodes节点状态
kubectl get nodes

##如果要修改flanneld的模式
vim kube-flannel.yml

 "Network": "10.244.0.0/16",    ###修改网段，必须与controller-manager的cluster-cidr一致
      "Backend": {
        "Type": "vxlan"               ##修改模式

###创建 pod
###在  mater01

kubectl create deployment ggl --image=nginx:latest --port=80

##查看创建的容器
kubectl get pods -A

###创建 pod
###在  mater01

kubectl create deployment ggl --image=nginx:latest --port=80

##查看创建的容器
kubectl get pods -A

Calico

• k8s 组网方案对比:
  • flannel方案
    需要在每个节点上把发向容器的数据包进行封装后，再用隧道将封装后的数据包发送到运行着目标Pod的node节点上。目标node节点再负责去掉封装，将去除封装的数据包发送到目标Pod上。数据通信性能则大受影响。
  • calico方案
    Calico不使用隧道或NAT来实现转发，而是把Host当作Internet中的路由器，使用BGP同步路由，并使用iptables来做安全访问策略，完成跨Host转发来。

Calico模式

• Calico 主要由三个部分组成：

  • Calico CNI插件：主要负责与kubernetes对接，供kubelet调用使用。
  • Felix：负责维护宿主机上的路由规则、FIB转发信息库等。
  • BIRD：负责分发路由规则，类似路由器。
  • Confd：配置管理组件

• Calico IPIP模式工作原理

  1. 源Pod容器发出的原始数据IP包通过内核的IPIP驱动直接封装在宿主机网络的IP包中
  2. 根据tunnel接口的路由通过物理网卡发送到目标Node节点
  3. 数据包到达目标节点后再通过IPIP驱动解包得到原始数据IP包
  4. 然后通过路由规则发送给 veth pair 设备到达目标Pod容器

• Calico BGP模式工作原理（本质就是通过路由表来维护每个 Pod 的通信）

  1. 源Pod容器发出的原始数据IP包会通过 veth pair 设备到达宿主机网络空间
  2. 然后根据原始数据IP包的目标IP和宿主机的路由规则，找到目标Node节点的IP，再通过物理网卡发送到目标Node节点
  3. 根据目标Node节点的路由规则，直接通过目标Pod容器的 veth pair 设备发送到目标Pod容器

Calico部署

###下载  calico配置文件

curl https://raw.githubusercontent.com/projectcalico/calico/v3.26.1/manifests/calico.yaml

###在master01 节点
##先卸载之前安装的  flanneld插件
kubectl delete -f kube-flannel.yml

###上传 calico.yaml 文件到 /opt/k8s 目录中，部署 CNI 网络
cd /opt/k8s
vim calico.yaml

#修改里面定义Pod网络（CALICO_IPV4POOL_CIDR），与前面kube-controller-manager配置文件指定的cluster-cidr网段一样


---3879行---
    - name: CALICO_IPV4POOL_CIDR
      value: "192.168.0.0/16"

##修改 calico的模式

---3851行---
Enable IPIP
            - name: CALICO_IPV4POOL_IPIP
              value: "Always"


##如果使用BGP模式
将  value: "Always"    改为     Never

还要添加

- name: IP AUTODETECTION_METHOD
  value: "interface=ens.*"
#添加使用的物理网卡

##安装网络插件
kubectl apply -f calico.yaml

##查看插件状态
kubectl get pods -A

flannel 和 calico 区别

• flannel： UDP VXLAN Host-gw
  • 默认网段：10.244.0.0/16
  • 通常使用VXLAN模式，采用的是叠加网络、IP隧道方式传输数据，对性能有一定的影响
  • 功能简单配置方便利于管理，但是不具备复杂的网络策略规则配置能力
• calico： IPIP BGP 混合模式（CrossSubnet）
  • 默认网段：192.168.0.0/16
  • 使用IPIP模式可以实现跨子网传输，但是传输过程中需要封包和解包，对性能有一定的影响
  • 使用BPG模式，把Node节点看作成路由器，根据Felix、BIRD分发和维护的路由规则，可直接实现BGP路由转发，传输过程中不需要封包和解包，因此性能较好，但只能在同一个网段内使用，无法跨子网传输
  • 具有更丰富的网络策略配置管理能力、性能更好、功能更全面，但是维护起来较为复杂
• 所以对于较小规模且网络要求简单的K8S集群，可以采用flannel。对于集群规模较大且要求更多的网络策略配置时，可以采用性能更好、功能全全面的calico