k8s - Flannel

1.Flannel概念剖析

Flannel是 CoreOS 团队针对 Kubernetes 设计的一个覆盖网络（Overlay Network）工具，其目的在于帮助每一个使用 Kuberentes 的 CoreOS 主机拥有一个完整的子网。这次的分享内容将从Flannel的介绍、工作原理及安装和配置三方面来介绍这个工具的使用方法。

Flannel通过给每台宿主机分配一个子网的方式为容器提供虚拟网络，它基于Linux TUN/TAP，使用UDP封装IP包来创建Overlay网络，并借助Etcd维护网络的分配情况。Flannel is a simple and easy way to configure a layer 3 network fabric designed for Kubernetes.

2. Flannel工作原理

Flannel是CoreOS团队针对Kubernetes设计的一个网络规划服务，简单来说，它的功能是让集群中的不同节点主机创建的Docker容器都具有全集群唯一的IP地址。

在默认的Docker配置中，每个Node的Docker服务会分别负责所在节点容器的IP分配。Node内部得容器之间可以相互访问，但是跨主机(Node)网络相互间是不能通信。

Flannel设计目的就是为集群中所有节点重新规划IP地址的使用规则，从而使得不同节点上的容器能够获得"同属一个内网"并且"不重复的"IP地址，并让属于不同节点上的容器能够直接通过内网IP通信。

Flannel 使用Etcd存储配置数据和子网分配信息。Flannel 启动之后，后台进程首先检索配置和正在使用的子网列表，然后选择一个可用的子网，然后尝试去注册它。Etcd也存储这个每个主机对应的IP。

Flannel 使用Etcd的watch机制监视/atomic.io/network/subnets下面所有元素的变化信息，并且根据它来维护一个路由表。为了提高性能，Flannel优化了Universal TAP/TUN设备，对TUN和UDP之间的IP分片做了代理。

3. Flannel架构介绍

Flannel默认使用8285端口作为UDP封装报文的端口，VxLan使用8472端口。

那么一个网络报文请求是怎么从一个容器发送到另外一个容器的呢？例如从node1上的Container1容器（IP：10.244.0.13）访问node2上面Container2容器（IP：10.244.1.14）容器。

• Container1容器10.244.0.13直接访问目标容器Container2的IP 10.244.1.14，请求默认通过容器内部的eth0网卡发送出去。
• 请求报文通过Veth pair（虚拟设备对）被发送到Docker宿主机VethXXX设备上。
• VethXXX设备是直接连接到虚拟交换机Docker0（Cni0）的，所以请求报文通过虚拟Bridge Docker0发送出去。
• 然后查找Docker宿主机的路由表信息，同时外部容器IP的报文都会转发到Flannel0虚拟网卡，这是一个P2P的虚拟网卡，然后报文就被转发到监听在另一端的Flanneld进程。
• 因为Flannel在Etcd中存储着子网和宿主机ip的对应关系，所以能够找到10.244.1.14对应的宿主机IP为11.101.1.3，进而开始组装UDP数据包发送数据到目的主机。
  这个请求得以完成的原因每个节点上都启动着一个Flanneld udp进程，都监听着8285端口，所以node1通过Flanneld进程把数据包通过宿主机的Interface网卡发送给node2的Flanneld进程的相应端口即可。
• 请求报文到达node2之后，继续往上传输，到传输层，交给监听在8285端口的Flanneld程序处理。
• 请求数据被解包，然后发送给Flannel0虚拟网卡。
• 查找路由表，发现对应容器的报文要交给Docker0（cni0）。
• Docker0找到连到自己的容器，把报文发送给Container2，反之同样的工作方式。

4. Kubernetes工作原理剖析

Kubernetes集群是一组节点，这些节点可以是物理服务器或者虚拟机，在其上安装Kubernetes平台。下图为了强调核心概念有所简化。Kubernetes架构图。



从上图，我们可以看到K8S组件和逻辑关系：Kubernetes集群主要由Master和Node两类节点组成。Master的组件包括：Apiserver、Controller-manager、Scheduler和Etcd等几个组件，其中Apiserver是整个集群的网关。

Node主要由kubelet、kube-proxy、docker引擎等组件组成。kubelet是K8S集群的工作与节点上的代理组件。

在企业生产环境中，一个完整的K8S集群，还包括CoreDNS、Prometheus（或HeapSter）、Dashboard、Ingress Controller等几个附加组件。其中cAdivsor组件作用于各个节点（master和node节点）之上，用于收集及收集容器及节点的CPU、内存以及磁盘资源的利用率指标数据，这些统计数据由Heapster聚合后，可以通过apiserver访问。
K8S集群中创建一个资源（Pod容器）的工作流程和步骤：

• 客户端提交创建（Deployment、Namespace、Pod）请求，可以通过API Server的Restful API，也可以使用kubectl命令行工具。
• 然后API Server处理用户的请求，并且存储相关的数据（Deployment、Namespace、Pod）到Etcd配置数据库中。
• K8S Scheduler调度器通过API Server查看未绑定的Pod。尝试为该Pod分配Node主机资源。
• 过滤主机 (调度预选)：调度器用一组规则过滤掉不符合要求的主机。比如Pod指定了所需要的资源量，那么可用资源比Pod需要的资源量少的主机会被过滤掉。
• 主机打分(调度优选)：对第一步筛选出的符合要求的主机进行打分，在主机打分阶段，调度器会考虑一些整体优化策略，比如把容一个Replication Controller的副本分布到不同的主机上，使用最低负载的主机等。
• 选择主机：选择打分最高的主机，进行binding操作，结果存储到etcd中。
• Node节点上Kubelet根据调度结果，调用主机上的Docker引擎执行Pod创建操作，绑定成功后，Scheduler会调用APIServer的API在etcd中创建一个boundpod对象，描述在一个工作节点上绑定运行的所有pod信息。
• 同时运行在每个工作节点上的Kubelet也会定期与etcd同步boundpod信息，一旦发现应该在该工作节点上运行的boundpod对象没有更新，则调用Docker API创建并启动pod内的容器。

5. Kubernetes 本地私有仓库实战

Docker仓库主要用于存放Docker镜像，Docker仓库分为公共仓库和私有仓库，基于registry可以搭建本地私有仓库，使用私有仓库的优点如下：
节省网络带宽，针对于每个镜像不用去Docker官网仓库下载；
下载Docker镜像从本地私有仓库中下载；
组件公司内部私有仓库，方便各部门使用，服务器管理更加统一；
可以基于GIT或者SVN、Jenkins更新本地Docker私有仓库镜像版本。
官方提供Docker Registry来构建本地私有仓库，目前最新版本为v2，最新版的docker已不再支持v1，Registry v2使用Go语言编写，在性能和安全性上做了很多优化，重新设计了镜像的存储格式。如下为在192.168.1.147服务器上构建Docker本地私有仓库的方法及步骤：
（1）下载Docker registry镜像，命令如下：

docker pull registry

（2）启动私有仓库容器，启动命令如下：

mkdir -p  /data/registry/
docker run -itd  -p  5000:5000 -v /data/registry:/var/lib/registry  docker.io/registry

Docker本地仓库启动后台容器启动，如图24-2所示：

默认情况下，会将仓库存放于容器内的/tmp/registry目录下，这样如果容器被删除，则存放于容器中的镜像也会丢失，所以我们一般情况下会指定本地一个目录挂载到容器内的/tmp/registry下。

（3）上传镜像至本地私有仓库：
客户端上传镜像至本地私有仓库，如下以busybox镜像为例，将busybox上传至私有仓库服务器。

docker   pull    busybox
docker   tag    busybox  192.168.1.147:5000/busybox
docker   push  192.168.1.147:5000/busybox

（4）检测本地私有仓库：

curl -XGET http://192.168.1.147:5000/v2/_catalog
curl -XGET http://192.168.1.147:5000/v2/busybox/tags/list

（5）客户端使用本地私有仓库：
客户端docker配置文件添加如下代码，同时重启docker服务，获取本地私有仓库如图24-3所示：

OPTIONS='--selinux-enabled --log-driver=journald --signature-verification=false --insecure-registry 192.168.1.147:5000'
ADD_REGISTRY='--add-registry 192.168.1.147:5000'

至此，docker本地私有仓库部署完毕，可以向仓库中添加或者更新Docker镜像。
在K8S Docker客户端主机添加本地仓库地址，添加方法如下：
vim /etc/docker/daemon.json文件中代码如下：

{
"insecure-registries":["192.168.1.147:5000"]
}

6. Kubernetes+Jenkins+Docker仓库整合

在企业生产环境中，通常会将K8S+Jenkins+Docker仓库整合起来，实现业务全自动发布。需求如下：
1）K8S云计算平台、Jenkins平台、Docker仓库平台；（提前准备好）
2）部署一套bbs.jfedu.net业务，在Jenkins创建工程-绑定SVN仓库地址-从SVN下载网站代码；
3）网站代码下载成功-制作CentOS7镜像-将网站程序打包至镜像中；
4）将制作的CentOS7镜像（网站程序）-上传至Docker仓库平台；
5）基于K8S云计算平台-部署bbs.jfedu.net业务（CentOS云主机）-NodePort端口-外网用户访问。
6）编写SHELL编程脚本，实现以上步骤整合操作，SHELL代码如下：

#进入Jenkins工程目录；
cd /root/.jenkins/workspace/bbs.jfedu.net/
#查看从SVN下载网站代码；
ls -l index.html
#创建Dockerfile镜像制作文件；
cat>Dockerfile<<EOF
#2022年11月23日11:22:12
#指定基础镜像；
FROM ansible/centos7-ansible:latest
#指定维护者信息；
MAINTAINER www.jfedu.net 2022
#指定工作目录；
WORKDIR /root/
#删除EPEL扩展源；
RUN rm -rf /etc/yum.repos.d/epel*
#安装网络工具和openssh server服务；
RUN yum install -y net-tools openssh-server httpd
#修改系统密码为1；
RUN echo 1|passwd --stdin root
#生成SSHD服务启动基础KEY文件；
RUN ssh-keygen -A
#将网站程序部署至镜像中；
COPY index.html /var/www/html/
RUN chmod 644 /var/www/html/index.html
#暴露映射目录；
VOLUME /var/www/html/
#指定容器入口命令；
ENTRYPOINT /usr/sbin/init
CMD /usr/sbin/sshd -D
EOF
#制作CentOS7镜像文件；
docker build -t centos7-ssh:v2 ./
#修改CentOS7镜像文件tag号；
docker tag centos7-ssh:v2 10.0.12.13:5000/centos7-ssh:v2
#将CentOS7镜像上传Docker私有仓库；
docker push 10.0.12.13:5000/centos7-ssh:v2
#创建K8S bbs-jfedu-net部署yaml文件；
cat>bbs-jfedu-net.yaml<<EOF
kind: Deployment
apiVersion: apps/v1
metadata:
  name: bbs-jfedu-net
  namespace: default
  uid: 16adfc69-ecf1-48d3-9190-518ecffb8818
  resourceVersion: '3854'
  generation: 1
  creationTimestamp: '2022-11-23T13:02:03Z'
  labels:
    k8s-app: bbs-jfedu-net
  annotations:
    deployment.kubernetes.io/revision: '1'
  managedFields:
    - manager: dashboard
      operation: Update
      apiVersion: apps/v1
      time: '2022-11-23T13:02:03Z'
      fieldsType: FieldsV1
      fieldsV1:
        'f:metadata':
          'f:labels':
            .: {}
            'f:k8s-app': {}
        'f:spec':
          'f:progressDeadlineSeconds': {}
          'f:replicas': {}
          'f:revisionHistoryLimit': {}
          'f:selector': {}
          'f:strategy':
            'f:rollingUpdate':
              .: {}
              'f:maxSurge': {}
              'f:maxUnavailable': {}
            'f:type': {}
          'f:template':
            'f:metadata':
              'f:labels':
                .: {}
                'f:k8s-app': {}
              'f:name': {}
            'f:spec':
              'f:containers':
                'k:{"name":"bbs-jfedu-net"}':
                  .: {}
                  'f:image': {}
                  'f:imagePullPolicy': {}
                  'f:name': {}
                  'f:resources': {}
                  'f:securityContext':
                    .: {}
                    'f:privileged': {}
                  'f:terminationMessagePath': {}
                  'f:terminationMessagePolicy': {}
              'f:dnsPolicy': {}
              'f:restartPolicy': {}
              'f:schedulerName': {}
              'f:securityContext': {}
              'f:terminationGracePeriodSeconds': {}
    - manager: kube-controller-manager
      operation: Update
      apiVersion: apps/v1
      time: '2022-11-23T13:02:04Z'
      fieldsType: FieldsV1
      fieldsV1:
        'f:metadata':
          'f:annotations':
            .: {}
            'f:deployment.kubernetes.io/revision': {}
        'f:status':
          'f:conditions':
            .: {}
            'k:{"type":"Available"}':
              .: {}
              'f:lastTransitionTime': {}
              'f:lastUpdateTime': {}
              'f:message': {}
              'f:reason': {}
              'f:status': {}
              'f:type': {}
            'k:{"type":"Progressing"}':
              .: {}
              'f:lastTransitionTime': {}
              'f:lastUpdateTime': {}
              'f:message': {}
              'f:reason': {}
              'f:status': {}
              'f:type': {}
          'f:observedGeneration': {}
          'f:replicas': {}
          'f:unavailableReplicas': {}
          'f:updatedReplicas': {}
spec:
  replicas: 1
  selector:
    matchLabels:
      k8s-app: bbs-jfedu-net
  template:
    metadata:
      name: bbs-jfedu-net
      creationTimestamp: null
      labels:
        k8s-app: bbs-jfedu-net
    spec:
      containers:
        - name: bbs-jfedu-net
          image: '10.0.12.13:5000/centos7-ssh:v2'
          resources: {}
          terminationMessagePath: /dev/termination-log
          terminationMessagePolicy: File
          imagePullPolicy: IfNotPresent
          securityContext:
            privileged: true
      restartPolicy: Always
      terminationGracePeriodSeconds: 30
      dnsPolicy: ClusterFirst
      securityContext: {}
      schedulerName: default-scheduler
  strategy:
    type: RollingUpdate
    rollingUpdate:
      maxUnavailable: 25%
      maxSurge: 25%
  revisionHistoryLimit: 10
  progressDeadlineSeconds: 600
status:
  observedGeneration: 1
  replicas: 1
  updatedReplicas: 1
  unavailableReplicas: 1
  conditions:
    - type: Available
      status: 'False'
      lastUpdateTime: '2022-11-23T13:02:04Z'
      lastTransitionTime: '2022-11-23T13:02:04Z'
      reason: MinimumReplicasUnavailable
      message: Deployment does not have minimum availability.
    - type: Progressing
      status: 'True'
      lastUpdateTime: '2022-11-23T13:02:04Z'
      lastTransitionTime: '2022-11-23T13:02:03Z'
      reason: ReplicaSetUpdated
      message: ReplicaSet "bbs-jfedu-net-598fb758b6" is progressing.
      
EOF
#创建bbs-jfedu-net-service.yaml文件；
cat>bbs-jfedu-net-service.yaml<<EOF
kind: Service
apiVersion: v1
metadata:
  name: bbs-jfedu-net
  namespace: default
  uid: c259b7a1-4688-4e51-b5ce-7b9d0a600e15
  resourceVersion: '4636'
  creationTimestamp: '2022-11-23T13:16:20Z'
  labels:
    k8s-app: bbs-jfedu-net
  managedFields:
    - manager: dashboard
      operation: Update
      apiVersion: v1
      time: '2022-11-23T13:16:20Z'
      fieldsType: FieldsV1
      fieldsV1:
        'f:metadata':
          'f:labels':
            .: {}
            'f:k8s-app': {}
        'f:spec':
          'f:externalTrafficPolicy': {}
          'f:ports':
            .: {}
            'k:{"port":80,"protocol":"TCP"}':
              .: {}
              'f:name': {}
              'f:port': {}
              'f:protocol': {}
              'f:targetPort': {}
          'f:selector':
            .: {}
            'f:k8s-app': {}
          'f:sessionAffinity': {}
          'f:type': {}
spec:
  ports:
    - name: tcp-80-80-js226
      protocol: TCP
      port: 80
      targetPort: 80
      nodePort: 30286
  selector:
    k8s-app: bbs-jfedu-net
  clusterIP: 10.10.232.164
  clusterIPs:
    - 10.10.232.164
  type: LoadBalancer
  sessionAffinity: None
  externalTrafficPolicy: Cluster
status:
  loadBalancer: {}
EOF
#基于yaml文件部署bbs-jfedu-net业务和Service；
kubectl apply -f bbs-jfedu-net.yaml
kubectl apply -f bbs-jfedu-net-service.yaml
#查看bbs-jfedu-net业务是否部署成功；
sleep 20
kubectl get pods -n default