项目地址 https://github.com/KubeOperator/KubeOperator

KubeOperator简介

什么是 KubeOperator?

KubeOperator 是一个开源项目,在离线网络环境下,通过可视化 Web UI 在 VMware、Openstack 或者物理机上规划、部署和运营生产级别的 Kubernetes 集群。KubeOperator 是 Jumpserver 明星开源团队在 Kubernetes 领域的的又一全新力作。

KubeOperator - 从这里开启您的 Kubernetes 之旅_第1张图片

注: KubeOperator 已通过云原生基金会(CNCF)的 Kubernetes 软件一致性认证。

KubeOperator 的整体架构

KubeOperator 使用 Terraform 在 IaaS 平台上自动创建主机(用户也可以自行准备主机,比如物理机或者虚机),通过 Ansible 完成自动化部署和变更操作,支持 Kubernetes 集群 从 Day 0 规划,到 Day 1 部署,到 Day 2 运营的全生命周期管理。

KubeOperator - 从这里开启您的 Kubernetes 之旅_第2张图片

KubeOperator 的技术优势

  • 简单易用:提供可视化的 Web UI,极大降低部署和管理门槛;
  • 离线部署:持续更新包括 Kubernetes 及常用组件(即内置应用)的离线包;
  • 按需创建:调用云平台 API,一键快速创建和部署 Kubernetes 集群;
  • 按需伸缩:快速伸缩 Kubernetes 集群,优化资源使用效率;
  • 按需修补:快速升级和修补 Kubernetes 集群,并与社区最新版本同步,保证安全性;
  • 自我修复:通过重建故障节点确保集群可用性;
  • 全栈监控:提供从Pod、Node到集群的事件、监控、告警、和日志方案;
  • Multi-AZ 支持:通过把 Kubernetes 集群 Master 节点分布在不同的故障域上确保的高可用;

KubeOperator 的功能列表

KubeOperator - 从这里开启您的 Kubernetes 之旅_第3张图片

具体版本路线图请参考:Roadmap

KubeOperator 的主要概念

部署模型

KubeOperator 支持两种类型的 K8s 集群部署,一种是一主多节点类型,另外一种是多主多节点类型。

  • 一主多节点类型:K8s 集群由一个 master 节点、一个及以上 worker 节点组成。
  • 多主多节点类型:K8s 集群由三个 master 节点、三个及以上 worker 节点组成。

一主多节点类型适用于开发和测试环境,生产环境请使用多主多节点类型。

部署模式

KubeOperator 支持两种部署模式,一种是手动部署,一种是自动部署。

  • 手动模式:用户需要自己准备物理机或虚拟机及 NFS 持久化存储。
  • 自动模式:用户只需要绑定云平台(比如 VMware)账号信息,KubeOperator 会根据预先定义的部署计划来自动创建主机实现一键自动化部署。

部署计划(Deploy Plan)

在自动部署模式下,部署计划定义了 K8s 集群的部署细节,包括其部署模型、集群所在的区域、可用区、节点大小类型等。

区域(Region)和可用区(AZ)

区域(Region)和可用区(AZ)这两个术语来自公有云。每个区域完全独立。每个可用区完全隔离,但同一个区域内的可用区之间使用低时延链路相连。区域和可用区之间的关系如下图所示。

KubeOperator - 从这里开启您的 Kubernetes 之旅_第4张图片

对于公有云厂商提供的K8s 服务,master 节点由公有云厂商管理并维护,其 3 个master 节点会分布在同个区域下面的 3 个不同可用区上面,实现真正的高可用。

KubeOperator 借鉴公有云厂商的思路和概念,并应用到 VMware 和 Openstack 等私有云平台上面。例如,在 VMware 云平台下,区域对应为 Datacenter,可用区对应于 cluster,或者 cluster 下面的 resource pool。

  • 如果用户只有一个 vSphere 集群,那么可以在集群下面建立三个 resource pool,每个resource pool 对应于一个可用区。
  • 如果用户有三个 vSphere 集群,那么每个集群对应于一个可用区。

注:vSAN 集群不能被多个 vSphere 集群共享,所以 3 个 vSphere 集群,持久化存储仅支持集中存储。 具体请参考:https://docs.vmware.com/en/VMware-Enterprise-PKS/1.5/vmware-enterprise-pks-15/GUID-vsphere-persistent-storage.html

Kubernetes 离线安装包

KubeOperator 提供完整的离线 Kubernetes 安装包,每个安装包会被构建成一个独立容器镜像供 KubeOperator 使用,离线安装包中包括以下三种内容:

  • Kubenetes 核心组件:包括 Kubenetes、Docker 及 etcd;
  • Kubenetes 附属组件(镜像):包括网络、存储、监控、Dashboard 及常用工具;
  • 操作系统 RPM 包:除 CentOS 7.6 Minimal 外的其他必备 RPM。安装包容器运行后是一个标准的 Yum 源服务器。

Kubernetes 离线安装包具体信息请参考工程:K8s-package。以 Kubernetes 离线包 v1.15.4 为例,其包括的内容如下:

Kubenetes 核心组件

分类 组件名称 版本
核心 kubernetes 1.15.4
核心 etcd 3.3.10
核心 docker docker-ce-18.09.9

Kubenetes 附属组件(镜像)

分类 组件名称 版本
网络 quay.io/coreos/flannel v0.11.0-amd64
网络 calico/node v3.7.3
网络 calico/cni v3.7.3
网络 calico/kube-controllers v3.7.3
网络 docker.io/coredns/coredns 1.6.0
网络 docker.io/traefik v1.7.11
网络 f5networks/K8s-bigip-ctlr 1.9.2
存储 quay.io/external_storage/nfs-client-provisioner v3.1.0-K8s1.11
监控 docker.io/grafana/grafana v1.7.11
监控 quay.io/prometheus/alertmanager v0.15.2
监控 quay.io/prometheus/node-exporter v1.7.11
监控 quay.io/prometheus/prometheus v2.4.3
监控 quay.io/prometheus/pushgateway v0.5.2
监控 quay.io/coreos/kube-state-metrics v1.4.0
Dashboard kubernetesui/dashboard v2.0.0-beta4
Dashboard kubernetesui/metrics-scraper v1.0.1
工具 gcr.io/google-containers/pause-amd64 3.1
工具 docker.io/registry 2
工具 docker.io/konradkleine/docker-registry-frontend v2
工具 gcr.io/kubernetes-helm/tiller v2.15.0
工具 quay.io/coreos/configmap-reload v0.0.1
工具 docker.io/appropriate/curl edge
工具 weaveworks/scope 1.11.5
工具 quay.io/comcast/kuberhealthy v1.0.2

RPM 包(基于 CentOS 7.6 Minimal 及以上)

分类 组件名称
RPM dnsmasq
RPM chrony
RPM ntpdate
RPM nfs-utils