K8S是开源的容器编排引擎,支持自动化部署、大规模可伸缩、应用容器化管理,有助于运维人员进行资源的自动化管理和利用率最大化。本文是基于张建锋老师容器技术培训关于K8S的有关总结和整理,以加深学习了解。
Kubernetes简称K8S,是Google开源的一个容器编排引擎,它支持自动化部署、大规模可伸缩、应用容器化管理,目的是实现资源管理的自动化以及跨数据中心的资源利用率最大化。官方的描述如下:
Kubernetes, also known as K8s, is an open-source system for automating deployment, scaling, and management of containerized applications.
K8S能够在开发、测试以及运维监控在内的各个环节进行部署。在K8S中,可以创建多个容器,每个容器里面运行一个应用实例,然后通过内置的负载均衡策略,实现对这一组应用实例的管理、发现、访问,这些细节都不需要运维人员去进行复杂的手工配置和处理。
容器是打包和运行应用程序的好方式,在生产环境中,运维人员需要管理运行应用程序的容器,并确保不会停机,这些可以通过K8S来实现。K8S的核心功能是自动化运维管理多个容器化程序,提供了一个可弹性运行分布式系统的框架,满足扩展要求、故障转移、部署模式等要求。因此具备以下集群管理能力:
K8S是属于主从Master-Slave架构,主节点一般被称为Master Node,而从节点则被称为Worker Node或者Node,Master Node负责核心的调度、管理和运维,Worker Node则执行用户的程序。每个Node对应一台实体服务器,同一个集群中可以有多个Master Node和Worker Node,所以的Nodes构成了K8S集群。
Etcd是基于Raft开发的分布式key-value键值数据存储系统,可用于服务发现、共享配置以及一致性保障(如数据库选主、分布式锁等)。
在K8S中Etcd有以下特性:
APIserver整个系统的数据总线和数据中心,主要有以下功能:
K8S通过kube-apiserver这个进程提供服务,该进程运行在单个k8s-master节点上。默认有两个端口:本地端口8080和安全端口6443。API Server可以通过curl、kubectl proxy和kubectl客户端的方式进行访问。
Controller Manager是集群内部的管理控制中心,由kube-controller-manager和cloud-controller-manager组成,是Kubernetes的大脑,它通过apiserver监控整个集群的状态,并确保集群处于预期的工作状态。kube-controller-manager通过API Server提供的接口实时监控整个集群的每个资源对象的当前状态,当发生各种故障导致系统状态发生变化时,会尝试将系统状态修复到“期望状态”。K8S本质是将运行的环境达到期望的状态,Control Manager主要管理集群内以下资源:
上图中Deployment controller监视API Server中的Deployments,ReplicaSet controller监控API Server中的ReplicaSets。
kube-scheduler 收集和分析当前Kubernetes集群中所有Node节点的资源(内存、CPU)负载情况,负责分配调度 Pod 到集群内的节点上,它监听 kube-apiserver,查询还未分配 Node 的 Pod,然后根据调度策略为这些 Pod 分配节点。
Scheduler调度要充分考虑诸多因素,包括:公平调度、资源高效利用、QoS、affinity和anti-affinity、数据本地化、内部负载干扰以及deadlines。从 v1.8 开始,kube-scheduler 支持定义 Pod 的优先级,从而保证高优先级的 Pod 优先调度。并从 v1.11 开始默认开启。因此scheduler 在调度时分为两个阶段:
如上图所示,左边的Pod只能调度到gpu=true标签的Node,右边的Pod没有这种限制,可以调度到任何一个Node上。
每个Node上都运行一个kubelet服务进程,接收并执行 master 发来的指令,管理Pod及Pod中的容器。每个kubelet进程会在API Server上注册节点自身信息,定期向master节点汇报节点的资源使用情况,并通过cAdvisor监控节点和容器的资源,比如每个节点中容器的CPU、内存和网络使用情况。
上图表示Kubelet创建POD的流程,具体包括以下:
1)获取Pod进行准入检查
准入检查主要包含两个关键的控制器:驱逐管理与预选检查。驱逐管理主要是根据当前的资源压力,检测对应的Pod是否容忍当前的资源压力;预选检查则是根据当前活跃的容器和当前节点的信息来检查是否满足当前Pod的基础运行环境,例如亲和性检查,同时如果当前的Pod的优先级特别高或者是静态Pod,则会尝试为其进行资源抢占,会按照QOS等级逐级来进行抢占从而满足其运行环境
2)创建事件管道与容器管理主线程
kubelet接收到一个新创建的Pod首先会为其创建一个事件管道,并且启动一个容器管理的主线程消费管道里面的事件,并且会基于最后同步时间来等待当前kubelet中最新发生的事件(从本地的podCache中获取),如果是一个新建的Pod,则主要是通过PLEG中更新时间操作,广播的默认空状态来作为最新的状态
3)同步最新状态
当从本地的podCache中获取到最新的状态信息和从事件源获取的Pod信息后,会结合当前当前statusManager和probeManager里面的Pod里面的容器状态来更新,从而获取当前感知到的最新的Pod状态
4)准入控制检查
之前的准入检查是Pod运行的资源硬性限制的检查,而这里的准入检查则是软状态即容器运行时和版本的一些软件运行环境检查,如果这里检查失败,则会讲对应的容器状态设置为Blocked
5)更新容器状态
在通过准入检查之后,会调用statusManager来进行POd最新状态的同步,此处可能会同步给apiserver
6)Cgroup配置
在更新完成状态之后会启动一个PodCOntainerManager主要作用则是为对应的Pod根据其QOS等级来进行Cgroup配置的更新
7)Pod基础运行环境准备
接下来kubelet会为Pod的创建准备基础的环境,包括Pod数据目录的创建、镜像秘钥的获取、等待volume挂载完成等操作创建Pod的数据目录主要是创建 Pod运行所需要的Pod、插件、Volume目录,并且会通过Pod配置的镜像拉取秘钥生成秘钥信息,到此kubelet创建容器的工作就已经基本完成
Kube-proxy是为了解决外部网络能够访问跨机器集群中容器提供的应用服务而设计的,它运行在每个Node上,支持提供TCP/UDP sockets。Proxy主要从etcd获取Services和Endpoints的配置信息,然后根据配置信息在Node上启动一个Proxy的进程并监听相应的服务端口。当外部请求发生时,Proxy会根据Load Balancer将请求分发到后端正确的容器处理,实现网络代理和负载均衡。
kube-proxy监听API server中service和endpoint的变化情况,并通过 userspace、iptables、ipvs 或 winuserspace 等 proxier 来为服务配置负载均衡。
参考资料:
转载请注明原文地址:https://blog.csdn.net/solihawk/article/details/124573597
文章会同步在公众号“牧羊人的方向”更新,感兴趣的可以关注公众号,谢谢!