k8s的二进制部署和网络类型

k8s的二进制部署

master01：192.168.233.10 kube-apiserver kube-controller-manager kube-scheduler etcd

master02：192.168.233.20 kube-apiserver kube-controller-manager kube-scheduler

node01：192.168.233.30 kubelet kube-proxy etcd

node02：192.168.233.40 kubelet kube-proxy etcd

负载均衡：nginx+keepalive

master：192.168.233.50

backup：192.168.233.60

[root@10 ~]# systemctl stop firewalld

[root@10 ~]# setenforce 0

[root@10 ~]# iptables -t nat -F

[root@10 ~]# iptables -t mangle -F

[root@10 ~]# iptables -X

[root@10 ~]# swapoff -a

[root@10 ~]# free -h

              total        used        free      shared  buff/cache   available

Mem:           7.6G        302M        7.0G        9.1M        379M        7.0G

Swap:            0B          0B          0B

k8s在设计时，为了提升性能，默认是不使用swap交换分区，kubenetes在初始化时，会检测swap是否关闭

[root@10 ~]# hostnamectl set-hostname master01

[root@10 ~]# su

[root@master01 ~]# vim /etc/hosts

[root@master01 ~]# vim /etc/sysctl.d/k8s.conf

net.bridge.bridge-nf-call-ip6tables=1

net.bridge.bridge-nf-call-iptables=1

net.ipv6.conf.all.disable_ipv6=1

net.ipv4.ip_forward=1

[root@master01 ~]# sysctl --system

部署第一个组件

存储k8s的集群信息和用户配置组件etcd

etcd是一个高可用---分布式的键值存储数据库

采用raft算法，保证节点信息一致性。etcd时go语言写的

etcd的端口：2379（提供API服务，api接口。对外为客户端提供通信）   2380（内部服务的通信端口）

etcd一般是集群部署，由于etcd有选举leader的机制，至少要3台或者奇数台

k8s的内部通信依靠证书认证、密钥认证

证书的签发环境：

cfssl：证书签发的命令工具

cfssl-certinfo：查看证书信息的工具

cfssljson: 把证书的格式转化成json格式，变成文件的承载式证书

ca-config.ison 证书颁发机构的配置文件，定义了证书生成的策略，默认的过期时间和模版

ca-csr.ison 签名的请求文件，包括一些组织信息和加密方式

ca.pem 根证书文件，用于给其他组件签发证书

server.csr  etcd的服务器签发证书的请求文件

server-key.pem  etcd服务器的私钥文件

ca.csr  根证书签发请求文件

ca-key.pem  根证书的私钥文件

etcd- cert.sh  用于通过服务器验证客户端

server-csr.ison  用于生成etcd的服务器证书和私钥签名文件

server.pem  etcd服务器的证书文件，用于加密和认证etcd节点之间的通信

kubectl config set-context default \

--cluster=kubernetes \

--user=cluster-admin

-kubeconfig=$KUBE CONFIG)kubect! config use-context default --kubeconfig=$(KUBE CONFIG)

context 上下文：

定义连接到哪个k8s集群，以及使用哪个用户的身份来进行操作，上下文包含了集群、用户和可选命名空间的信息

在k8s的集群中

kubectl create clusterrolebinding kubelet-bootstrap -clusterrole-system:node-bootstrapper --user-kubelet-bootstrap

RBAC授权，生成和赋权用户kubelet-bootstrap,发起node节点的请求认证，通过CSR加密认证实现NODEK节点加入到集群当中。

kubelet获取master的验证信息和获取API-server接口的通信认证。

k8s网络类型

k8s中的通信模式：

1、pod内部之间容器与容器之间的通信

在同一个pod中的容器共享资源和网络，使用同一个网络命名空间。他们可以直接通信

2、同一个node节点之内，不同pod之间的通信

每个pod都有一个全局的真实的IP地址。同一个node之间的不同pod可以直接使用对方pod的ip地址进行通信

pod1和pod2是通过doker0的网桥来进行通信。

3、不同node节点上的pod之间如何进行通信

cni插件：cni是一个标准接口，用于容器运行时调用网络插件，配置容器网络，负责设置容器的网络命名空间，ip地址，路由等等参数

插件①：Flannel

Flannel 的功能是让集群中的不同Docker 容器都具有全集群唯一的虚拟IP地址。

Flannel 是 Overlay 网络的一种，在底层物理网络的基础之上，创建一个逻辑的网络层。二层+三层集合。二层是网络层，三层是逻辑上的网络层。Overlay网络也是一种网络虚拟化的技术

Flannel支持的数据转发方式：①UDP（默认模式。应用转发，配置简单，性能最差。一般不用）； ②VXLAN（基于内核转发。也是最常用的网络类型（小集群都用这个），用的最多）； ③Host-gw（性能最好，但是配置很麻烦，用的比较少）

UDP的工作模式：基于应用转发，Flannel提供路由表，Fannel封装数据包、解封装

node都会有一个fannel的虚拟网卡

数据流向

VXLAN的工作模式：使用的就是Overlay的虚拟隧道通信技术。二层+三层的模式。

UDP基于应用层用户态，

VXLAN：fannel提供给路由表，内核封装、解封装

flannel1.1接口

数据流向

根据vni+IP地址来寻找目标节点的通信地址

flannel：每个发向容器的数据包进行封装，vxlan通过vtep打包数据，然后由内核封装成数据包，再转发到目标node节点。到了目标节点，还有个解封装过程，再发送目标pod，性能有一定影响

插件②：Calico（直接路由，性能最好）

calico：采用直接路由的方式（BGP动态路由）。不需要修改报文，统一直接通过路由表转发，路由表会很复杂，运行维护的要求比较高

BGP模式的特点：交换路由信息的外部网关协议，可以连接不同的节点。node节点可能不是一个网段，BGP实现可靠的、最佳的、动态的路由选择。自动识别相邻的路由设备。

calico不使用overlay，也不需要交换，直接通过虚拟路由实现，每一台虚拟路由都通过BGP转发

核心组件：

1、felix  也是运行在主机的一个个pod，一个进程，k8s daemonset的方式部署（后台部署）的pod

daemonset会在每个node节点部男相同的pod.后台的运行方式

负责在宿主机上插入路由规则，维护calico需要的网络设备。网络接口管理、监听、路由等等

2、BGP Client（bird）  BGP的客户端，专门负责在集群中分发路由规则的信息。每一个节点都会有一个BGP Client

BGP协议用广播的方式通知其他节点的分发路由的规则，实现网络互通

etcd：保存路由信息；负责整个网络元数据的一致性（保证整个网络状态的一致和准确）

Calico的工作原理：

路由表来维护每个pod之间的通信

创建好pod之后，添加一个设备cali  veth pair设备

虚拟网卡: veth pair是一对设备，虚拟的以太网设备

一头连接在容器的网络命名空间 eth0

另一头连接宿主机的网络命名空间 cali

IP地址分配：veth pair连接容器的部分给容器分配IP地址，这个IP地址是唯一标识，宿主机也会被veth pair分配一个calico网络的内部IP地址。和其他节点上的容器进行通信

veth设备：容器发出的IP地址通过veth pair设备到宿主机，宿主机就根据路由规则的下一跳地址发送到网关（目标宿主机，目标节点），数据包到达目标宿主机，veth pari设备，目标宿主机也是根据路由规则，下一跳地址，转发到目标容器

数据流向

ipip模式：会生成一个tunnel隧道.数据包都是在tunnel内部打包 封装：宿主机IP、容器内部的IP地址

常用的网络插件类型：flannel和calico

flannel特点：配置简单，功能简单，基于overlay叠加网络实现，在物理层的网络上再封装一个虚拟的网络。

vxlan是虚拟三层网络。UDP是默认模式。host-gw模式。

vxlan：最多的模式，vni+IP进行转发，flannel提供路由表，内核封装和解封装

由于封装和解封装的过程，对数据传输的性能会有影响，没有网络策略配置的能力UDP协议

默认网段：10.244.0.0/16

calico特点：功能强大，基于路由表进行转发，没有封装和解封装的过程。具备网络策略的配置能力。但是路由表维护起来复杂

模式：ipip   BGP

BGP：通过为IP路由表的前缀来实现目标主机的可达性

对比ipip模式，BGP模式没有隧道，BGP模式下，pod的数据包直接通过网卡发送到目的地

ipip的隧道：在隧道进行数据包的封装ipv4 --- ipv4

简单的小集群：flannel

扩容、配置网络策略：calico

coredns：可以为集群当中的service资源创建一个域名和IP进行对应解析的关系

service是对外提供访问的地址，现在加入DNS机制之后，可以直接访问服务名