企业运维实战--k8s学习笔记4.k8s网络通信、Flannel vxlan模式简介、calico网络插件替换、网络策略范例总结

企业运维实战--k8s学习笔记4.k8s网络通信、Flannel vxlan模式简介、calico网络插件替换、网络策略范例编写

  • 一、k8s网络通信简介(重点)
  • 二、Flannel vxlan模式简介
    • Flannel vxlan模式跨主机通信原理简介
    • DR模式实现
  • 三、calico网络插件替换flannel
  • 四、calico支持的网络策略-类似访问控制


一、k8s网络通信简介(重点)

k8s是通过CNI接口接入插件来实现网络通讯的。目前较为流行的插件有flannel、calico等。
插件存放位置在/etc/cni/net.d/因此更改、重置网络插件都需要将这个目录下的文件清空。

插件主要工作解决方案如下:
1.多个容器共用一个虚拟网卡,使用虚拟网桥和虚拟网卡进行通信。
2.多个容器共用一个物理网卡进行通信,在二层使用Mac地址
3.一个物理网卡可以虚拟机出多个接口,硬件交换的方式实现,此方法性能最优,但是成本也高。

主要通信包括:
容器间通信:同一个pod内的容器通过回环接口实现。

pod之间的通信,分为同一节点之间的pod不同节点之间的pod
同一节点之间的pod通过cni网桥转发数据包,实现pod-ip访问pod-ip。
不同结点之间的pod通过网络插件支持。

pod与service间的通信
想要pod-ip去访问Cluster-ip,实质上Cluster-ip是通过iptables和ipvs虚拟出来的ip,不影响pod访问。
同样,ipvs也无法代替iptables,因为ipvs只能做负载均衡为iptables减缓刷新压力,真正的nat转换是通过iptables实现的。

pod和外网通信:iptables的MASQUERADE。

Service与集群外部客户端的通信:(ingress、nodeport、loadbalancer)。

二、Flannel vxlan模式简介

Flannel vxlan模式跨主机通信原理简介

概念了解:

VXLAN
即Virtual Extensible LAN(虚拟可扩展局域网),是Linux本身支持的一网种网络虚拟化技术。
VXLAN可以完全在内核态实现封装和解封装工作,从而通过“隧道”机制,构建出覆盖网络(Overlay Network)。
VTEP:VXLAN Tunnel End Point(虚拟隧道端点),
在Flannel中 VNI的默认值是1,这也是为什么宿主机的VTEP设备都叫flannel.1的原因。
Cni0: 网桥设备,每创建一个pod都会创建一对 veth pair。
其中一端是pod中的eth0,另一端是Cni0网桥中的端口(网卡)。
Flannel.1: TUN设备(虚拟网卡),用来进行 vxlan 报文的处理(封包和解包)。
不同node之间的pod数据流量都从overlay设备以隧道的形式发送到对端。
Flanneld:flannel在每个主机中运行flanneld作为agent,它会为所在主机从集群的网络地址空间中,获取一个小的网段subnet,本主机内所有容器的IP地址都将从中分配。
同时Flanneld监听K8s集群数据库,为flannel.1设备提供封装数据时必要的mac、ip等网络数据信息。

原理图:
企业运维实战--k8s学习笔记4.k8s网络通信、Flannel vxlan模式简介、calico网络插件替换、网络策略范例总结_第1张图片

DR模式实现

flannel支持多种后端,包括
vxlan默认报文封装模式,适用于跨网段通信
Directrouting直连路由模式,适用于同网段通信。表现为host-gw,主机网关,性能好,但只能在二层网络中,不支持跨网。

修改前查看node节点网关:
企业运维实战--k8s学习笔记4.k8s网络通信、Flannel vxlan模式简介、calico网络插件替换、网络策略范例总结_第2张图片

修改kube-flannel配置文件,将type改为直连模式

kubectl -n kube-system get cm
kubectl -n kube-system edit cm kube-flannel-cfg
net-conf.json: |
    {
      "Network": "10.244.0.0/16",
      "Backend": {
        "Type": "host-gw"
      }
    }

企业运维实战--k8s学习笔记4.k8s网络通信、Flannel vxlan模式简介、calico网络插件替换、网络策略范例总结_第3张图片

删除节点副本,重新生成读取修改的文件也会随之生效。

kubectl get pod -n kube-system |grep kube-flannel | awk '{system("kubectl delete pod "$1" -n kube-system")}'

企业运维实战--k8s学习笔记4.k8s网络通信、Flannel vxlan模式简介、calico网络插件替换、网络策略范例总结_第4张图片
修改后node节点网关查看
企业运维实战--k8s学习笔记4.k8s网络通信、Flannel vxlan模式简介、calico网络插件替换、网络策略范例总结_第5张图片

三、calico网络插件替换flannel

calico简介:
flannel实现的是网络通信,calico的特性是在pod之间的隔离。
通过BGP路由,但大规模端点的拓扑计算和收敛往往需要一定的时间和计算资源。
纯三层的转发,中间没有任何的NAT和overlay,转发效率最好。
Calico 仅依赖三层路由可达。Calico 较少的依赖性使它能适配所有 VM、Container、白盒或者混合环境场景。

安装caloco替换原先的flannel

仓库镜像准备:

上传镜像到harbor仓库
企业运维实战--k8s学习笔记4.k8s网络通信、Flannel vxlan模式简介、calico网络插件替换、网络策略范例总结_第6张图片

企业运维实战--k8s学习笔记4.k8s网络通信、Flannel vxlan模式简介、calico网络插件替换、网络策略范例总结_第7张图片

修改yaml资源清单,使得镜像拉取本地harbor仓库。(需要修改全部的image路径)
企业运维实战--k8s学习笔记4.k8s网络通信、Flannel vxlan模式简介、calico网络插件替换、网络策略范例总结_第8张图片
删除之前的网络插件flannel

kubectl delete -f kube-flannel.yml

企业运维实战--k8s学习笔记4.k8s网络通信、Flannel vxlan模式简介、calico网络插件替换、网络策略范例总结_第9张图片
必要步骤:删除所有k8s节点的网络插件配置缓存文件

企业运维实战--k8s学习笔记4.k8s网络通信、Flannel vxlan模式简介、calico网络插件替换、网络策略范例总结_第10张图片企业运维实战--k8s学习笔记4.k8s网络通信、Flannel vxlan模式简介、calico网络插件替换、网络策略范例总结_第11张图片
企业运维实战--k8s学习笔记4.k8s网络通信、Flannel vxlan模式简介、calico网络插件替换、网络策略范例总结_第12张图片
拉起插件,等待初始化

kubectl apply -f calico.yaml

企业运维实战--k8s学习笔记4.k8s网络通信、Flannel vxlan模式简介、calico网络插件替换、网络策略范例总结_第13张图片

初始化完毕后查看节点

kubectl get pod -n kube-system

企业运维实战--k8s学习笔记4.k8s网络通信、Flannel vxlan模式简介、calico网络插件替换、网络策略范例总结_第14张图片
查看新生成的网络插件配置文件
企业运维实战--k8s学习笔记4.k8s网络通信、Flannel vxlan模式简介、calico网络插件替换、网络策略范例总结_第15张图片

四、calico支持的网络策略-类似访问控制

可参考官网书写规范:https://kubernetes.io/zh/docs/concepts/services-networking/network-policies/

此处列举一些常见的网络策略

限制访问指定服务:

apiVersion: networking.k8s.io/v1
kind: NetworkPolicy
metadata:
  name: deny-nginx
spec:
  podSelector:
    matchLabels:
      app: nginx

允许指定pod访问服务:

kind: NetworkPolicy
apiVersion: networking.k8s.io/v1
metadata:
  name: access-nginx
spec:
  podSelector:
    matchLabels:
      app: nginx
  ingress:
  - from:
      - podSelector:
          matchLabels:
            app: demo

禁止 namespace 中所有 Pod 之间的相互访问:

apiVersion: networking.k8s.io/v1
kind: NetworkPolicy
metadata:
  name: default-deny
  namespace: default
spec:
  podSelector: {}

禁止其他 namespace 访问服务:

kind: NetworkPolicy
apiVersion: networking.k8s.io/v1
metadata:
  name: deny-namespace
spec:
  podSelector:
    matchLabels:
  ingress:
  - from:
    - podSelector: {}

只允许指定namespace访问服务:

kind: NetworkPolicy
apiVersion: networking.k8s.io/v1
metadata:
  name: access-namespace
spec:
  podSelector:
    matchLabels:
      app: myapp
  ingress:
  - from:
    - namespaceSelector:
        matchLabels:
          role: prod

允许外网访问:

kind: NetworkPolicy
apiVersion: networking.k8s.io/v1
metadata:
  name: web-allow-external
spec:
  podSelector:
    matchLabels:
      app: web
  ingress:
  - ports:
    - port: 80
    from: []

你可能感兴趣的:(kubernetes,运维,k8s网络,vxlan,容器)