k8s - Flannel
1.Flannel概念剖析
Flannel是 CoreOS 团队针对 Kubernetes 设计的一个覆盖网络（Overlay Network）工具，其目的在于帮助每一个使用 Kuberentes 的 CoreOS 主机拥有一个完整的子网。这次的分享内容将从Flannel的介绍、工作原理及安装和配置三方面来介绍这个工具的使用方法。
Flannel通过给每台宿主机分配一个子网的方式为容器提供虚拟网络，它基于Linux TUN/TAP，使用UDP封装IP包来创建Overlay网络，并借助Etcd维护网络的分配情况。Flannel is a simple and easy way to configure a layer 3 network fabric designed for Kubernetes.
2. Flannel工作原理
Flannel是CoreOS团队针对Kubernetes设计的一个网络规划服务，简单来说，它的功能是让集群中的不同节点主机创建的Docker容器都具有全集群唯一的IP地址。
在默认的Docker配置中，每个Node的Docker服务会分别负责所在节点容器的IP分配。Node内部得容器之间可以相互访问，但是跨主机(Node)网络相互间是不能通信。
Flannel设计目的就是为集群中所有节点重新规划IP地址的使用规则，从而使得不同节点上的容器能够获得"同属一个内网"并且"不重复的"IP地址，并让属于不同节点上的容器能够直接通过内网IP通信。
Flannel 使用Etcd存储配置数据和子网分配信息。Flannel 启动之后，后台进程首先检索配置和正在使用的子网列表，然后选择一个可用的子网，然后尝试去注册它。Etcd也存储这个每个主机对应的IP。
Flannel 使用Etcd的watch机制监视/atomic.io/network/subnets下面所有元素的变化信息，并且根据它来维护一个路由表。为了提高性能，Flannel优化了Universal TAP/TUN设备，对TUN和UDP之间的IP分片做了代理。
3. Flannel架构介绍
Flannel默认使用8285端口作为UDP封装报文的端口，VxLan使用8472端口。
那么一个网络报文请求是怎么从一个容器发送到另外一个容器的呢？例如从node1上的Container1容器（IP：10.244.0.13）访问node2上面Container2容器（IP：10.244.1.14）容器。
- Container1容器10.244.0.13直接访问目标容器Container2的IP 10.244.1.14，请求默认通过容器内部的eth0网卡发送出去。
- 请求报文通过Veth pair（虚拟设备对）被发送到Docker宿主机VethXXX设备上。
- VethXXX设备是直接连接到虚拟交换机Docker0（Cni0）的，所以请求报文通过虚拟Bridge Docker0发送出去。
- 然后查找Docker宿主机的路由表信息，同时外部容器IP的报文都会转发到Flannel0虚拟网卡，这是一个P2P的虚拟网卡，然后报文就被转发到监听在另一端的Flanneld进程。
- 因为Flannel在Etcd中存储着子网和宿主机ip的对应关系，所以能够找到10.244.1.14对应的宿主机IP为11.101.1.3，进而开始组装UDP数据包发送数据到目的主机。
这个请求得以完成的原因每个节点上都启动着一个Flanneld udp进程，都监听着8285端口，所以node1通过Flanneld进程把数据包通过宿主机的Interface网卡发送给node2的Flanneld进程的相应端口即可。 - 请求报文到达node2之后，继续往上传输，到传输层，交给监听在8285端口的Flanneld程序处理。
- 请求数据被解包，然后发送给Flannel0虚拟网卡。
- 查找路由表，发现对应容器的报文要交给Docker0（cni0）。
- Docker0找到连到自己的容器，把报文发送给Container2，反之同样的工作方式。
4. Kubernetes工作原理剖析
Kubernetes集群是一组节点，这些节点可以是物理服务器或者虚拟机，在其上安装Kubernetes平台。下图为了强调核心概念有所简化。Kubernetes架构图。
从上图，我们可以看到K8S组件和逻辑关系：Kubernetes集群主要由Master和Node两类节点组成。Master的组件包括：Apiserver、Controller-manager、Scheduler和Etcd等几个组件，其中Apiserver是整个集群的网关。
Node主要由kubelet、kube-proxy、docker引擎等组件组成。kubelet是K8S集群的工作与节点上的代理组件。
在企业生产环境中，一个完整的K8S集群，还包括CoreDNS、Prometheus（或HeapSter）、Dashboard、Ingress Controller等几个附加组件。其中cAdivsor组件作用于各个节点（master和node节点）之上，用于收集及收集容器及节点的CPU、内存以及磁盘资源的利用率指标数据，这些统计数据由Heapster聚合后，可以通过apiserver访问。
K8S集群中创建一个资源（Pod容器）的工作流程和步骤：
- 客户端提交创建（Deployment、Namespace、Pod）请求，可以通过API Server的Restful API，也可以使用kubectl命令行工具。
- 然后API Server处理用户的请求，并且存储相关的数据（Deployment、Namespace、Pod）到Etcd配置数据库中。
- K8S Scheduler调度器通过API Server查看未绑定的Pod。尝试为该Pod分配Node主机资源。
- 过滤主机 (调度预选)：调度器用一组规则过滤掉不符合要求的主机。比如Pod指定了所需要的资源量，那么可用资源比Pod需要的资源量少的主机会被过滤掉。
- 主机打分(调度优选)：对第一步筛选出的符合要求的主机进行打分，在主机打分阶段，调度器会考虑一些整体优化策略，比如把容一个Replication Controller的副本分布到不同的主机上，使用最低负载的主机等。
- 选择主机：选择打分最高的主机，进行binding操作，结果存储到etcd中。
- Node节点上Kubelet根据调度结果，调用主机上的Docker引擎执行Pod创建操作，绑定成功后，Scheduler会调用APIServer的API在etcd中创建一个boundpod对象，描述在一个工作节点上绑定运行的所有pod信息。
- 同时运行在每个工作节点上的Kubelet也会定期与etcd同步boundpod信息，一旦发现应该在该工作节点上运行的boundpod对象没有更新，则调用Docker API创建并启动pod内的容器。
5. Kubernetes 本地私有仓库实战
Docker仓库主要用于存放Docker镜像，Docker仓库分为公共仓库和私有仓库，基于registry可以搭建本地私有仓库，使用私有仓库的优点如下：
节省网络带宽，针对于每个镜像不用去Docker官网仓库下载；
下载Docker镜像从本地私有仓库中下载；
组件公司内部私有仓库，方便各部门使用，服务器管理更加统一；
可以基于GIT或者SVN、Jenkins更新本地Docker私有仓库镜像版本。
官方提供Docker Registry来构建本地私有仓库，目前最新版本为v2，最新版的docker已不再支持v1，Registry v2使用Go语言编写，在性能和安全性上做了很多优化，重新设计了镜像的存储格式。如下为在192.168.1.147服务器上构建Docker本地私有仓库的方法及步骤：
（1）下载Docker registry镜像，命令如下：
docker pull registry
（2）启动私有仓库容器，启动命令如下：
mkdir -p /data/registry/
docker run -itd -p 5000:5000 -v /data/registry:/var/lib/registry docker.io/registry
Docker本地仓库启动后台容器启动，如图24-2所示：
默认情况下，会将仓库存放于容器内的/tmp/registry目录下，这样如果容器被删除，则存放于容器中的镜像也会丢失，所以我们一般情况下会指定本地一个目录挂载到容器内的/tmp/registry下。
（3）上传镜像至本地私有仓库：
客户端上传镜像至本地私有仓库，如下以busybox镜像为例，将busybox上传至私有仓库服务器。
docker pull busybox
docker tag busybox 192.168.1.147:5000/busybox
docker push 192.168.1.147:5000/busybox
（4）检测本地私有仓库：
curl -XGET http://192.168.1.147:5000/v2/_catalog
curl -XGET http://192.168.1.147:5000/v2/busybox/tags/list
（5）客户端使用本地私有仓库：
客户端docker配置文件添加如下代码，同时重启docker服务，获取本地私有仓库如图24-3所示：
OPTIONS='--selinux-enabled --log-driver=journald --signature-verification=false --insecure-registry 192.168.1.147:5000'
ADD_REGISTRY='--add-registry 192.168.1.147:5000'
至此，docker本地私有仓库部署完毕，可以向仓库中添加或者更新Docker镜像。
在K8S Docker客户端主机添加本地仓库地址，添加方法如下：
vim /etc/docker/daemon.json文件中代码如下：
{
"insecure-registries":["192.168.1.147:5000"]
}
6. Kubernetes+Jenkins+Docker仓库整合
在企业生产环境中，通常会将K8S+Jenkins+Docker仓库整合起来，实现业务全自动发布。需求如下：
1）K8S云计算平台、Jenkins平台、Docker仓库平台；（提前准备好）
2）部署一套bbs.jfedu.net业务，在Jenkins创建工程-绑定SVN仓库地址-从SVN下载网站代码；
3）网站代码下载成功-制作CentOS7镜像-将网站程序打包至镜像中；
4）将制作的CentOS7镜像（网站程序）-上传至Docker仓库平台；
5）基于K8S云计算平台-部署bbs.jfedu.net业务（CentOS云主机）-NodePort端口-外网用户访问。
6）编写SHELL编程脚本，实现以上步骤整合操作，SHELL代码如下：
#进入Jenkins工程目录；
cd /root/.jenkins/workspace/bbs.jfedu.net/
#查看从SVN下载网站代码；
ls -l index.html
#创建Dockerfile镜像制作文件；
cat>Dockerfile<<EOF
#2022年11月23日11:22:12
#指定基础镜像；
FROM ansible/centos7-ansible:latest
#指定维护者信息；
MAINTAINER www.jfedu.net 2022
#指定工作目录；
WORKDIR /root/
#删除EPEL扩展源；
RUN rm -rf /etc/yum.repos.d/epel*
#安装网络工具和openssh server服务；
RUN yum install -y net-tools openssh-server httpd
#修改系统密码为1；
RUN echo 1|passwd --stdin root
#生成SSHD服务启动基础KEY文件；
RUN ssh-keygen -A
#将网站程序部署至镜像中；
COPY index.html /var/www/html/
RUN chmod 644 /var/www/html/index.html
#暴露映射目录；
VOLUME /var/www/html/
#指定容器入口命令；
ENTRYPOINT /usr/sbin/init
CMD /usr/sbin/sshd -D
EOF
#制作CentOS7镜像文件；
docker build -t centos7-ssh:v2 ./
#修改CentOS7镜像文件tag号；
docker tag centos7-ssh:v2 10.0.12.13:5000/centos7-ssh:v2
#将CentOS7镜像上传Docker私有仓库；
docker push 10.0.12.13:5000/centos7-ssh:v2
#创建K8S bbs-jfedu-net部署yaml文件；
cat>bbs-jfedu-net.yaml<<EOF
kind: Deployment
apiVersion: apps/v1
metadata:
name: bbs-jfedu-net
namespace: default
uid: 16adfc69-ecf1-48d3-9190-518ecffb8818
resourceVersion: '3854'
generation: 1
creationTimestamp: '2022-11-23T13:02:03Z'
labels:
k8s-app: bbs-jfedu-net
annotations:
deployment.kubernetes.io/revision: '1'
managedFields:
- manager: dashboard
operation: Update
apiVersion: apps/v1
time: '2022-11-23T13:02:03Z'
fieldsType: FieldsV1
fieldsV1:
'f:metadata':
'f:labels':
.: {}
'f:k8s-app': {}
'f:spec':
'f:progressDeadlineSeconds': {}
'f:replicas': {}
'f:revisionHistoryLimit': {}
'f:selector': {}
'f:strategy':
'f:rollingUpdate':
.: {}
'f:maxSurge': {}
'f:maxUnavailable': {}
'f:type': {}
'f:template':
'f:metadata':
'f:labels':
.: {}
'f:k8s-app': {}
'f:name': {}
'f:spec':
'f:containers':
'k:{"name":"bbs-jfedu-net"}':
.: {}
'f:image': {}
'f:imagePullPolicy': {}
'f:name': {}
'f:resources': {}
'f:securityContext':
.: {}
'f:privileged': {}
'f:terminationMessagePath': {}
'f:terminationMessagePolicy': {}
'f:dnsPolicy': {}
'f:restartPolicy': {}
'f:schedulerName': {}
'f:securityContext': {}
'f:terminationGracePeriodSeconds': {}
- manager: kube-controller-manager
operation: Update
apiVersion: apps/v1
time: '2022-11-23T13:02:04Z'
fieldsType: FieldsV1
fieldsV1:
'f:metadata':
'f:annotations':
.: {}
'f:deployment.kubernetes.io/revision': {}
'f:status':
'f:conditions':
.: {}
'k:{"type":"Available"}':
.: {}
'f:lastTransitionTime': {}
'f:lastUpdateTime': {}
'f:message': {}
'f:reason': {}
'f:status': {}
'f:type': {}
'k:{"type":"Progressing"}':
.: {}
'f:lastTransitionTime': {}
'f:lastUpdateTime': {}
'f:message': {}
'f:reason': {}
'f:status': {}
'f:type': {}
'f:observedGeneration': {}
'f:replicas': {}
'f:unavailableReplicas': {}
'f:updatedReplicas': {}
spec:
replicas: 1
selector:
matchLabels:
k8s-app: bbs-jfedu-net
template:
metadata:
name: bbs-jfedu-net
creationTimestamp: null
labels:
k8s-app: bbs-jfedu-net
spec:
containers:
- name: bbs-jfedu-net
image: '10.0.12.13:5000/centos7-ssh:v2'
resources: {}
terminationMessagePath: /dev/termination-log
terminationMessagePolicy: File
imagePullPolicy: IfNotPresent
securityContext:
privileged: true
restartPolicy: Always
terminationGracePeriodSeconds: 30
dnsPolicy: ClusterFirst
securityContext: {}
schedulerName: default-scheduler
strategy:
type: RollingUpdate
rollingUpdate:
maxUnavailable: 25%
maxSurge: 25%
revisionHistoryLimit: 10
progressDeadlineSeconds: 600
status:
observedGeneration: 1
replicas: 1
updatedReplicas: 1
unavailableReplicas: 1
conditions:
- type: Available
status: 'False'
lastUpdateTime: '2022-11-23T13:02:04Z'
lastTransitionTime: '2022-11-23T13:02:04Z'
reason: MinimumReplicasUnavailable
message: Deployment does not have minimum availability.
- type: Progressing
status: 'True'
lastUpdateTime: '2022-11-23T13:02:04Z'
lastTransitionTime: '2022-11-23T13:02:03Z'
reason: ReplicaSetUpdated
message: ReplicaSet "bbs-jfedu-net-598fb758b6" is progressing.
EOF
#创建bbs-jfedu-net-service.yaml文件；
cat>bbs-jfedu-net-service.yaml<<EOF
kind: Service
apiVersion: v1
metadata:
name: bbs-jfedu-net
namespace: default
uid: c259b7a1-4688-4e51-b5ce-7b9d0a600e15
resourceVersion: '4636'
creationTimestamp: '2022-11-23T13:16:20Z'
labels:
k8s-app: bbs-jfedu-net
managedFields:
- manager: dashboard
operation: Update
apiVersion: v1
time: '2022-11-23T13:16:20Z'
fieldsType: FieldsV1
fieldsV1:
'f:metadata':
'f:labels':
.: {}
'f:k8s-app': {}
'f:spec':
'f:externalTrafficPolicy': {}
'f:ports':
.: {}
'k:{"port":80,"protocol":"TCP"}':
.: {}
'f:name': {}
'f:port': {}
'f:protocol': {}
'f:targetPort': {}
'f:selector':
.: {}
'f:k8s-app': {}
'f:sessionAffinity': {}
'f:type': {}
spec:
ports:
- name: tcp-80-80-js226
protocol: TCP
port: 80
targetPort: 80
nodePort: 30286
selector:
k8s-app: bbs-jfedu-net
clusterIP: 10.10.232.164
clusterIPs:
- 10.10.232.164
type: LoadBalancer
sessionAffinity: None
externalTrafficPolicy: Cluster
status:
loadBalancer: {}
EOF
#基于yaml文件部署bbs-jfedu-net业务和Service；
kubectl apply -f bbs-jfedu-net.yaml
kubectl apply -f bbs-jfedu-net-service.yaml
#查看bbs-jfedu-net业务是否部署成功；
sleep 20
kubectl get pods -n default