k8s快速入门、集群部署-62

一：k8s简介

Kubernetes 简称 k8s。是用于自动部署，扩展和管理容器化应用程序的开源系统。

1.1 官方文档

中文官网：https://kubernetes.io/zh/
中文社区：https://www.kubernetes.org.cn/
官方文档：https://kubernetes.io/zh/docs/home/
社区文档：http://docs.kubernetes.org.cn/

1.2 时光回溯

让我们回顾一下为何 Kubernetes 能够裨益四方。

传统部署时代：

早期，各个组织是在物理服务器上运行应用程序。 由于无法限制在物理服务器中运行的应用程序资源使用，因此会导致资源分配问题。 例如，如果在同一台物理服务器上运行多个应用程序， 则可能会出现一个应用程序占用大部分资源的情况，而导致其他应用程序的性能下降。 一种解决方案是将每个应用程序都运行在不同的物理服务器上， 但是当某个应用程式资源利用率不高时，剩余资源无法被分配给其他应用程式， 而且维护许多物理服务器的成本很高。

虚拟化部署时代：

因此，虚拟化技术被引入了。虚拟化技术允许你在单个物理服务器的 CPU 上运行多台虚拟机（VM）。 虚拟化能使应用程序在不同 VM 之间被彼此隔离，且能提供一定程度的安全性， 因为一个应用程序的信息不能被另一应用程序随意访问。

虚拟化技术能够更好地利用物理服务器的资源，并且因为可轻松地添加或更新应用程序， 而因此可以具有更高的可扩缩性，以及降低硬件成本等等的好处。 通过虚拟化，你可以将一组物理资源呈现为可丢弃的虚拟机集群。

每个 VM 是一台完整的计算机，在虚拟化硬件之上运行所有组件，包括其自己的操作系统。

容器部署时代：

容器类似于 VM，但是更宽松的隔离特性，使容器之间可以共享操作系统（OS）。 因此，容器比起 VM 被认为是更轻量级的。且与 VM 类似，每个容器都具有自己的文件系统、CPU、内存、进程空间等。 由于它们与基础架构分离，因此可以跨云和 OS 发行版本进行移植。

容器因具有许多优势而变得流行起来，例如：

• 敏捷应用程序的创建和部署：与使用 VM 镜像相比，提高了容器镜像创建的简便性和效率。
• 持续开发、集成和部署：通过快速简单的回滚（由于镜像不可变性）， 提供可靠且频繁的容器镜像构建和部署。
• 关注开发与运维的分离：在构建、发布时创建应用程序容器镜像，而不是在部署时， 从而将应用程序与基础架构分离。
• 可观察性：不仅可以显示 OS 级别的信息和指标，还可以显示应用程序的运行状况和其他指标信号。
• 跨开发、测试和生产的环境一致性：在笔记本计算机上也可以和在云中运行一样的应用程序。
• 跨云和操作系统发行版本的可移植性：可在 Ubuntu、RHEL、CoreOS、本地、 Google Kubernetes Engine 和其他任何地方运行。
• 以应用程序为中心的管理：提高抽象级别，从在虚拟硬件上运行 OS 到使用逻辑资源在 OS 上运行应用程序。
• 松散耦合、分布式、弹性、解放的微服务：应用程序被分解成较小的独立部分， 并且可以动态部署和管理 - 而不是在一台大型单机上整体运行。
• 资源隔离：可预测的应用程序性能。
• 资源利用：高效率和高密度。

1.3 为什么需要 Kubernetes，它能做什么

通过现代的 Web 服务，用户希望应用程序能够 24/7 全天候使用，开发人员希望每天可以多次发布部署新版本的应用程序。 容器化可以帮助软件包达成这些目标，使应用程序能够以简单快速的方式发布和更新，而无需停机。Kubernetes 帮助你确保这些容器化的应用程序在你想要的时间和地点运行，并帮助应用程序找到它们需要的资源和工具。Kubernetes 是一个可用于生产的开源平台，根据 Google 容器集群方面积累的经验，以及来自社区的最佳实践而设计。

容器是打包和运行应用程序的好方式。在生产环境中， 你需要管理运行着应用程序的容器，并确保服务不会下线。 例如，如果一个容器发生故障，则你需要启动另一个容器。 如果此行为交由给系统处理，是不是会更容易一些？

这就是 Kubernetes 要来做的事情！ Kubernetes 为你提供了一个可弹性运行分布式系统的框架。 Kubernetes 会满足你的扩展要求、故障转移你的应用、提供部署模式等。 例如，Kubernetes 可以轻松管理系统的 Canary (金丝雀) 部署。

Kubernetes 为你提供：

• 服务发现和负载均衡
  Kubernetes 可以使用 DNS 名称或自己的 IP 地址来暴露容器。 如果进入容器的流量很大， Kubernetes 可以负载均衡并分配网络流量，从而使部署稳定。

• 存储编排
  Kubernetes 允许你自动挂载你选择的存储系统，例如本地存储、公共云提供商等。

• 自动部署和回滚
  你可以使用 Kubernetes 描述已部署容器的所需状态， 它可以以受控的速率将实际状态更改为期望状态。 例如，你可以自动化 Kubernetes 来为你的部署创建新容器， 删除现有容器并将它们的所有资源用于新容器。

• 自动完成装箱计算
  你为 Kubernetes 提供许多节点组成的集群，在这个集群上运行容器化的任务。 你告诉 Kubernetes 每个容器需要多少 CPU 和内存 (RAM)。 Kubernetes 可以将这些容器按实际情况调度到你的节点上，以最佳方式利用你的资源。

• 自我修复
  Kubernetes 将重新启动失败的容器、替换容器、杀死不响应用户定义的运行状况检查的容器， 并且在准备好服务之前不将其通告给客户端。

• 密钥与配置管理
  Kubernetes 允许你存储和管理敏感信息，例如密码、OAuth 令牌和 ssh 密钥。 你可以在不重建容器镜像的情况下部署和更新密钥和应用程序配置，也无需在堆栈配置中暴露密钥。

二：k8s架构

2.1 整体主从方式

2.2 Master 节点架构

• kube-apiserver
  1. 对外暴露 K8S 的 api 接口，是外界进行资源操作的唯一入口
  2. 提供认证、授权、访问控制、API 注册和发现等机制
• etcd
  1. etcd 是兼具一致性和高可用性的键值数据库，可以作为保存 Kubernetes 所有集
     群数据的后台数据库。
  2. Kubernetes 集群的 etcd 数据库通常需要有个备份计划
• kube-scheduler
  1. 主节点上的组件，该组件监视那些新创建的未指定运行节点的 Pod，并选择节点
     让 Pod 在上面运行。
  2. 所有对 k8s 的集群操作，都必须经过主节点进行调度
• kube-controller-manager
  1. 在主节点上运行控制器的组件
  2. 这些控制器包括:
     节点控制器（Node Controller）: 负责在节点出现故障时进行通知和响应。
     副本控制器（Replication Controller）: 负责为系统中的每个副本控制器对象维护正确数量的 Pod。
     端点控制器（Endpoints Controller）: 填充端点(Endpoints)对象(即加入 Service与 Pod)。
     服务帐户和令牌控制器（Service Account & Token Controllers）: 为新的命名空间创建默认帐户和 API

2.3 Node 节点架构

• kubelet
  1. 一个在集群中每个节点上运行的代理。它保证容器都运行在 Pod 中。
  2. 负责维护容器的生命周期，同时也负责 Volume（CSI）和网络（CNI）的管理；
• kube-proxy
  1. 负责为 Service 提供 cluster 内部的服务发现和负载均衡；
• 容器运行环境(Container Runtime)
  1. 容器运行环境是负责运行容器的软件。
  2. Kubernetes 支持多个容器运行环境: Docker、 containerd、cri-o、 rktlet 以及任何实现 Kubernetes CRI (容器运行环境接口)。
• fluentd
  1. 是一个守护进程，它有助于提供集群层面日志 集群层面的日

三：k8s概念+流程叙述

3.1 k8s概念

• Container：容器，可以是 docker 启动的一个容器

• Pod：

  1. k8s 使用 Pod 来组织一组容器
  2. 一个 Pod 中的所有容器共享同一网络。
  3. Pod 是 k8s 中的最小部署单元

• Volume

  1. 声明在 Pod 容器中可访问的文件目录
  2. 可以被挂载在 Pod 中一个或多个容器指定路径下
  3. 支持多种后端存储抽象(本地存储，分布式存储，云存储…)

• Controllers：更高层次对象，部署和管理 Pod；

  1. ReplicaSet：确保预期的 Pod 副本数量
  2. Deplotment：无状态应用部署
  3. StatefulSet：有状态应用部署
  4. DaemonSet：确保所有 Node 都运行一个指定 Pod
  5. Job：一次性任务
  6. Cronjob：定时任务

• Deployment：

  1. 定义一组 Pod 的副本数目、版本等
  2. 通过控制器（Controller）维持 Pod 数目(自动回复失败的 Pod)
  3. 通过控制器以指定的策略控制版本（滚动升级，回滚等）

• Service

  1. 定义一组 Pod 的访问策略
  2. Pod 的负载均衡，提供一个或者多个 Pod 的稳定访问地址
  3. 支持多种方式（ClusterIP、NodePort、LoadBalance）

• Label：标签，用于对象资源的查询，筛选
  

• Namespace：命名空间，逻辑隔离

  1. 一个集群内部的逻辑隔离机制（鉴权，资源）
  2. 每个资源都属于一个 namespace
  3. 同一个 namespace 所有资源名不能重复
  4. 不同 namespace 可以资源名重复

API：
我们通过 kubernetes 的 API 来操作整个集群。可以通过 kubectl、ui、curl 最终发送 http+json/yaml 方式的请求给 API Server，然后控制 k8s集群。k8s 里的所有的资源对象都可以采用 yaml 或 JSON 格式的文件定义或描述

3.2 流程叙述

1、通过 Kubectl 提交一个创建 RC（Replication Controller）的请求，该请求通过 APIServer被写入 etcd 中
2、此时 Controller Manager 通过 API Server 的监听资源变化的接口监听到此 RC 事件
3、分析之后，发现当前集群中还没有它所对应的 Pod 实例，
4、于是根据 RC 里的 Pod 模板定义生成一个 Pod 对象，通过 APIServer 写入 etcd
5、此事件被 Scheduler 发现，它立即执行一个复杂的调度流程，为这个新 Pod 选定一个落户的 Node，然后通过 API Server 讲这一结果写入到 etcd 中，
6、目标 Node 上运行的 Kubelet 进程通过 APIServer 监测到这个“新生的”Pod，并按照它的定义，启动该 Pod 并任劳任怨地负责它的下半生，直到 Pod 的生命结束。
7、随后，我们通过 Kubectl 提交一个新的映射到该 Pod 的 Service 的创建请求
8、ControllerManager 通过 Label 标签查询到关联的 Pod 实例，然后生成 Service 的Endpoints 信息，并通过 APIServer 写入到 etcd 中，
9、接下来，所有 Node 上运行的 Proxy 进程通过 APIServer 查询并监听 Service 对象与其对应的 Endpoints 信息，建立一个软件方式的负载均衡器来实现 Service 访问到后端。Pod 的流量转发功能

四：k8s集群安装

4.1 前置要求

1）一台或多台机器，操作系统 CentOS7.x-86_x64
2）硬件配置：2GB 或更多 RAM，2 个 CPU 或更多 CPU，硬盘 30GB 或更多
3）集群中所有机器之间网络互通
4）可以访问外网，需要拉取镜像
5）禁止 swap 分区

4.2 部署步骤

1.在所有节点上安装 Docker 和 kubeadm
2.部署 Kubernetes Master
3.部署容器网络插件
4.部署 Kubernetes Node，将节点加入 Kubernetes 集群中
5.部署 Dashboard Web 页面，可视化查看 Kubernetes 资源

4.3 Linux安装 Docker、kubeadm、kubelet、kubectl

kubelet:运行在cluster所有节点上,负责启动POD和容器
kubeadm:用于初始化cluster
kubectl:kubectl是kubenetes命令行工具，通过kubectl可以部署和管理应用，查看各种资源，创建，删除和更新组件

4.3.1 卸载系统之前docker

sudo yum remove docker docker-client docker-client-latest docker-common docker-latest docker-latest-logrotate docker-logrotate docker-engine

4.3.2 安装Docker-CE

1）安装必须的依赖
sudo yum install -y yum-utils device-mapper-persistent-data lvm2
2）设置 docker repo 的 yum 位置
sudo yum-config-manager --add-repo
https://download.docker.com/linux/centos/docker-ce.repo
3）安装 docker，以及 docker-cli
sudo yum install -y docker-ce docker-ce-cli containerd.io

4.3.3 配置 docker 加速

sudo mkdir -p /etc/docker

sudo tee /etc/docker/daemon.json <<-'EOF' 
{ 
	"registry-mirrors": ["https://82m9ar63.mirror.aliyuncs.com"]
}
EOF

sudo systemctl daemon-reload
sudo systemctl restart docker

4.3.4 启动 docker & 设置 docker 开机自启

systemctl enable docker

4.3.5 添加阿里云 yum 源

$ cat > /etc/yum.repos.d/kubernetes.repo << EOF
[kubernetes]
name=Kubernetes
baseurl=https://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64
enabled=1
gpgcheck=0
repo_gpgcheck=0
gpgkey=https://mirrors.aliyun.com/kubernetes/yum/doc/yum-key.gpg
https://mirrors.aliyun.com/kubernetes/yum/doc/rpm-package-key.gpg
EOF

4.3.6 安装 kubeadm，kubelet 和 kubectl

yum list|grep kube
yum install -y kubelet-1.17.3 kubeadm-1.17.3 kubectl-1.17.3
systemctl enable kubelet
systemctl start kubelet

4.4 部署 k8s-master

4.4.1 master 节点初始化

$ kubeadm init --apiserver-advertise-address=10.0.2.15 --image-repository registry.cn-hangzhou.aliyuncs.com/google_containers --kubernetes-version v1.17.3 --service-cidr=10.96.0.0/16 --pod-network-cidr=10.244.0.0/16

由于默认拉取镜像地址 k8s.gcr.io 国内无法访问，这里指定阿里云镜像仓库地址。可以手动按照我们的 images.sh 先拉取镜像，地址变为 registry.aliyuncs.com/google_containers 也可以。

科普：无类别域间路由（Classless Inter-Domain Routing、CIDR）是一个用于给用户分配 IP地址以及在互联网上有效地路由 IP 数据包的对 IP 地址进行归类的方法。拉取可能失败，需要下载镜像。
运行完成提前复制：加入集群的令牌

4.4.2 测试 kubectl(主节点执行）

mkdir -p $HOME/.kube
sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
sudo chown $(id -u):$(id -g) $HOME/.kube/config
$ kubectl get nodes 获取所有节点

目前 master 状态为 notready。等待网络加入完成即可。

journalctl -u kubelet 查看 kubelet 日志

kubeadm join 10.0.2.15:6443 --token 8mgmlh.cgtgsp3samkvpksn --discovery-token-ca-cert-hash
sha256:3cf99aa2e6bfc114c5490a7c6dffcf200b670af21c5a662c299b6de606023f85

4.5 安装 Pod 网络插件（CNI）

$ kubectl apply -f https://raw.githubusercontent.com/coreos/flannel/master/Documentation/kube-flannel.yml
以上地址可能被墙，大家获取上传我们下载好的 flannel.yml 运行即可，同时 flannel.yml 中指定的 images 访问不到可以去 docker hub 找一个
wget yml 的地址
vi 修改 yml 所有 amd64 的地址都修改了即可。
等待大约 3 分钟
kubectl get pods -n kube-system 查看指定名称空间的 pods
kubectl get pods –all-namespace 查看所有名称空间的 pods
$ ip link set cni0 down 如果网络出现问题，关闭 cni0，重启虚拟机继续测试
执行 watch kubectl get pod -n kube-system -o wide 监控 pod 进度
等 3-10 分钟，完全都是 running

4.6 加入 Kubernetes Node

1）在 Node 节点执行。
向集群添加新节点，执行在 kubeadm init 输出的 kubeadm join 命令：
确保 node 节点成
2）token 过期怎么办

1. kubeadm token create --print-join-command
2. kubeadm token create --ttl 0 --print-join-command
3. kubeadm join --token y1eyw5.ylg568kvohfdsfco --discovery-token-ca-cert-hash sha256: 6c35e4f73f72afd89bf1c8c303ee55677d2cdb1342d67bb23c852aba2efc7c73
   3）执行 watch kubectl get pod -n kube-system -o wide 监控 pod 进度，等 3-10 分钟，完全都是 running 以后使用 kubectl get nodes 检查状态

4.7 入门操作 kubernetes 集群

4.7.1 部署一个 tomcat

kubectl create deployment tomcat6 --image=tomcat:6.0.53-jre8 部署一个 tomcat
Kubectl get pods -o wide 可以获取到 tomcat 信息

4.7.2 暴露 nginx 访问

kubectl expose deployment tomcat6 --port=80 --target-port=8080 --type=NodePort
Pod 的 80 映射容器的 8080；service 会代理 Pod 的 80

4.7.3 动态扩容测试

kubectl get deployment
应用升级 kubectl set image (–help 查看帮助)
扩容： kubectl scale --replicas=3 deployment tomcat6
扩容了多份，所有无论访问哪个 node 的指定端口，都可以访问到 tomcat6

4.7.4 以上操作的 yaml 获取

参照 k8s 细节

4.7.5 删除

Kubectl get all
kubectl delete deploy/nginx
kubectl delete service/nginx-service

流程；创建 deployment 会管理 replicas，replicas 控制 pod 数量，有 pod 故障会自动拉起
新的 pod

4.8 安装默认 dashboard

4.8.1 部署 dashboard

$ kubectl apply -f https://raw.githubusercontent.com/kubernetes/dashboard/v1.10.1/src/deploy/recommende d/kubernetes-dashboard.yaml

4.8.2 暴露 dashboard 为公共访问

默认 Dashboard 只能集群内部访问，修改 Service 为 NodePort 类型，暴露到外部：

kind: Service
apiVersion: v1
metadata:
labels:
	k8s-app: kubernetes-dashboard
name: kubernetes-dashboard
namespace: kube-system
spec:
type: NodePort
ports: 
	- port: 443
	targetPort: 8443
	nodePort: 30001
selector:
	k8s-app: kubernetes-dashboard

访问地址：http://NodeIP:30001

4.8.3 创建授权账户

1. $ kubectl create serviceaccount dashboard-admin -n kube-system
2. $ kubectl create clusterrolebinding dashboard-admin --clusterrole=cluster-admin --serviceaccount=kube-system:dashboard-admin
3. $ kubectl describe secrets -n kube-system $(kubectl -n kube-system get secret | awk '/dashboard-admin/{print $1}')
   使用输出的 token