企业运维实战--k8s学习笔记4.k8s网络通信、Flannel vxlan模式简介、calico网络插件替换、网络策略范例总结

---

一、k8s网络通信简介（重点）

k8s是通过CNI接口接入插件来实现网络通讯的。目前较为流行的插件有flannel、calico等。
插件存放位置在/etc/cni/net.d/，因此更改、重置网络插件都需要将这个目录下的文件清空。

插件主要工作解决方案如下：
1.多个容器共用一个虚拟网卡，使用虚拟网桥和虚拟网卡进行通信。
2.多个容器共用一个物理网卡进行通信，在二层使用Mac地址。
3.一个物理网卡可以虚拟机出多个接口，硬件交换的方式实现，此方法性能最优，但是成本也高。

主要通信包括：
容器间通信：同一个pod内的容器通过回环接口实现。

pod之间的通信，分为同一节点之间的pod和不同节点之间的pod：
同一节点之间的pod通过cni网桥转发数据包，实现pod-ip访问pod-ip。
不同结点之间的pod通过网络插件支持。

pod与service间的通信：
想要pod-ip去访问Cluster-ip，实质上Cluster-ip是通过iptables和ipvs虚拟出来的ip，不影响pod访问。
同样，ipvs也无法代替iptables，因为ipvs只能做负载均衡为iptables减缓刷新压力，真正的nat转换是通过iptables实现的。

pod和外网通信：iptables的MASQUERADE。

Service与集群外部客户端的通信：（ingress、nodeport、loadbalancer）。

二、Flannel vxlan模式简介

Flannel vxlan模式跨主机通信原理简介

概念了解：

VXLAN
即Virtual Extensible LAN（虚拟可扩展局域网），是Linux本身支持的一网种网络虚拟化技术。
VXLAN可以完全在内核态实现封装和解封装工作，从而通过“隧道”机制，构建出覆盖网络（Overlay Network）。

VTEP：VXLAN Tunnel End Point（虚拟隧道端点），
在Flannel中 VNI的默认值是1，这也是为什么宿主机的VTEP设备都叫flannel.1的原因。

Cni0: 网桥设备，每创建一个pod都会创建一对 veth pair。
其中一端是pod中的eth0，另一端是Cni0网桥中的端口（网卡）。

Flannel.1: TUN设备(虚拟网卡)，用来进行 vxlan 报文的处理（封包和解包）。
不同node之间的pod数据流量都从overlay设备以隧道的形式发送到对端。

Flanneld：flannel在每个主机中运行flanneld作为agent，它会为所在主机从集群的网络地址空间中，获取一个小的网段subnet，本主机内所有容器的IP地址都将从中分配。
同时Flanneld监听K8s集群数据库，为flannel.1设备提供封装数据时必要的mac、ip等网络数据信息。

原理图：

DR模式实现

flannel支持多种后端，包括
vxlan默认报文封装模式，适用于跨网段通信
Directrouting直连路由模式，适用于同网段通信。表现为host-gw，主机网关，性能好，但只能在二层网络中，不支持跨网。

修改前查看node节点网关：

修改kube-flannel配置文件，将type改为直连模式

kubectl -n kube-system get cm
kubectl -n kube-system edit cm kube-flannel-cfg

net-conf.json: |
    {
      "Network": "10.244.0.0/16",
      "Backend": {
        "Type": "host-gw"
      }
    }

删除节点副本，重新生成读取修改的文件也会随之生效。

kubectl get pod -n kube-system |grep kube-flannel | awk '{system("kubectl delete pod "$1" -n kube-system")}'

修改后node节点网关查看

三、calico网络插件替换flannel

calico简介：
flannel实现的是网络通信，calico的特性是在pod之间的隔离。
通过BGP路由，但大规模端点的拓扑计算和收敛往往需要一定的时间和计算资源。
纯三层的转发，中间没有任何的NAT和overlay，转发效率最好。
Calico 仅依赖三层路由可达。Calico 较少的依赖性使它能适配所有 VM、Container、白盒或者混合环境场景。

安装caloco替换原先的flannel

仓库镜像准备：

上传镜像到harbor仓库

修改yaml资源清单，使得镜像拉取本地harbor仓库。（需要修改全部的image路径）

删除之前的网络插件flannel

kubectl delete -f kube-flannel.yml

必要步骤：删除所有k8s节点的网络插件配置缓存文件！

拉起插件，等待初始化

kubectl apply -f calico.yaml

初始化完毕后查看节点

kubectl get pod -n kube-system

查看新生成的网络插件配置文件

四、calico支持的网络策略-类似访问控制

可参考官网书写规范：https://kubernetes.io/zh/docs/concepts/services-networking/network-policies/

此处列举一些常见的网络策略

限制访问指定服务：

apiVersion: networking.k8s.io/v1
kind: NetworkPolicy
metadata:
  name: deny-nginx
spec:
  podSelector:
    matchLabels:
      app: nginx

允许指定pod访问服务：

kind: NetworkPolicy
apiVersion: networking.k8s.io/v1
metadata:
  name: access-nginx
spec:
  podSelector:
    matchLabels:
      app: nginx
  ingress:
  - from:
      - podSelector:
          matchLabels:
            app: demo

禁止 namespace 中所有 Pod 之间的相互访问：

apiVersion: networking.k8s.io/v1
kind: NetworkPolicy
metadata:
  name: default-deny
  namespace: default
spec:
  podSelector: {}

禁止其他 namespace 访问服务：

kind: NetworkPolicy
apiVersion: networking.k8s.io/v1
metadata:
  name: deny-namespace
spec:
  podSelector:
    matchLabels:
  ingress:
  - from:
    - podSelector: {}

只允许指定namespace访问服务：

kind: NetworkPolicy
apiVersion: networking.k8s.io/v1
metadata:
  name: access-namespace
spec:
  podSelector:
    matchLabels:
      app: myapp
  ingress:
  - from:
    - namespaceSelector:
        matchLabels:
          role: prod

允许外网访问：

kind: NetworkPolicy
apiVersion: networking.k8s.io/v1
metadata:
  name: web-allow-external
spec:
  podSelector:
    matchLabels:
      app: web
  ingress:
  - ports:
    - port: 80
    from: []