（一）Kubernetes打造云原生Devops--Kubernetes集群搭建

（一）Kubernetes打造云原生Devops--Kubernetes集群搭建

    一、什么是kubernetes

       Kubernetes 是一个可移植的、可扩展的开源平台，用于管理容器化的工作负载和服务，可促进声明式配置和自动化。 Kubernetes 拥有一个庞大且快速增长的生态系统。Kubernetes 的服务、支持和工具广泛可用。

       国内许多公司都是直接购买阿里云或等云厂商的服务，看到这里相信大家对kubernetes有了一个初步的了解。这里也介绍一下阿里，阿里在 Kubernetes 上的实践也取得了非常好的成果。在规模方面，阿里内部集成了数十个节点可以达到上万的集群，同时具备高性能和安全特性，秒级扩容，神龙+安全容器。具备极致的弹性，分钟级拆解公有云计算资源，无限资源池。另一方面，Kubernetes 社区已经具备非常丰富的 DevOps 生态基础功能，包括镜像托管、CICD 流水线、任务编排、发布策略、镜像打包、分发、丰富的应用运行时的负载支撑、丰富弹性和应用扩容能力。

     回溯历史(此处官方给出的解释)

      传统部署时代：

       早期，各个组织机构在物理服务器上运行应用程序。无法为物理服务器中的应用程序定义资源边界，这会导致资源分配问题。 例如，如果在物理服务器上运行多个应用程序，则可能会出现一个应用程序占用大部分资源的情况， 结果可能导致其他应用程序的性能下降。 一种解决方案是在不同的物理服务器上运行每个应用程序，但是由于资源利用不足而无法扩展， 并且维护许多物理服务器的成本很高。

     虚拟化部署时代：

      作为解决方案，引入了虚拟化。虚拟化技术允许你在单个物理服务器的 CPU 上运行多个虚拟机（VM）。 虚拟化允许应用程序在 VM 之间隔离，并提供一定程度的安全，因为一个应用程序的信息 不能被另一应用程序随意访问。

虚拟化技术能够更好地利用物理服务器上的资源，并且因为可轻松地添加或更新应用程序 而可以实现更好的可伸缩性，降低硬件成本等等。

每个 VM 是一台完整的计算机，在虚拟化硬件之上运行所有组件，包括其自己的操作系统。

      容器部署时代：

      容器类似于 VM，但是它们具有被放宽的隔离属性，可以在应用程序之间共享操作系统（OS）。 因此，容器被认为是轻量级的。容器与 VM 类似，具有自己的文件系统、CPU、内存、进程空间等。 由于它们与基础架构分离，因此可以跨云和 OS 发行版本进行移植。

容器因具有许多优势而变得流行起来。下面列出的是容器的一些好处：

• 敏捷应用程序的创建和部署：与使用 VM 镜像相比，提高了容器镜像创建的简便性和效率。
• 持续开发、集成和部署：通过快速简单的回滚（由于镜像不可变性），支持可靠且频繁的 容器镜像构建和部署。
• 关注开发与运维的分离：在构建/发布时而不是在部署时创建应用程序容器镜像， 从而将应用程序与基础架构分离。
• 可观察性不仅可以显示操作系统级别的信息和指标，还可以显示应用程序的运行状况和其他指标信号。
• 跨开发、测试和生产的环境一致性：在便携式计算机上与在云中相同地运行。
• 跨云和操作系统发行版本的可移植性：可在 Ubuntu、RHEL、CoreOS、本地、 Google Kubernetes Engine 和其他任何地方运行。
• 以应用程序为中心的管理：提高抽象级别，从在虚拟硬件上运行 OS 到使用逻辑资源在 OS 上运行应用程序。
• 松散耦合、分布式、弹性、解放的微服务：应用程序被分解成较小的独立部分， 并且可以动态部署和管理 - 而不是在一台大型单机上整体运行。
• 资源隔离：可预测的应用程序性能。
• 资源利用：高效率和高密度。

二、为什么需要 Kubernetes，它能做什么?

容器是打包和运行应用程序的好方式。在生产环境中，你需要管理运行应用程序的容器，并确保不会停机。 例如，如果一个容器发生故障，则需要启动另一个容器。如果系统处理此行为，会不会更容易？

这就是 Kubernetes 来解决这些问题的方法！ Kubernetes 为你提供了一个可弹性运行分布式系统的框架。 Kubernetes 会满足你的扩展要求、故障转移、部署模式等。 例如，Kubernetes 可以轻松管理系统的 Canary 部署。

Kubernetes 为你提供：

• 服务发现和负载均衡

  Kubernetes 可以使用 DNS 名称或自己的 IP 地址公开容器，如果进入容器的流量很大， Kubernetes 可以负载均衡并分配网络流量，从而使部署稳定。

• 存储编排

  Kubernetes 允许你自动挂载你选择的存储系统，例如本地存储、公共云提供商等。

• 自动部署和回滚

  你可以使用 Kubernetes 描述已部署容器的所需状态，它可以以受控的速率将实际状态 更改为期望状态。例如，你可以自动化 Kubernetes 来为你的部署创建新容器， 删除现有容器并将它们的所有资源用于新容器。

• 自动完成装箱计算

  Kubernetes 允许你指定每个容器所需 CPU 和内存（RAM）。 当容器指定了资源请求时，Kubernetes 可以做出更好的决策来管理容器的资源。

• 自我修复

  Kubernetes 重新启动失败的容器、替换容器、杀死不响应用户定义的 运行状况检查的容器，并且在准备好服务之前不将其通告给客户端。

• 密钥与配置管理

  Kubernetes 允许你存储和管理敏感信息，例如密码、OAuth 令牌和 ssh 密钥。 你可以在不重建容器镜像的情况下部署和更新密钥和应用程序配置，也无需在堆栈配置中暴露密钥。

三、如何搭建kubernetes集群？

1-1 确定硬件环境及软件版本

`目前`：使用kubeadm搭建一个4台机器组成的k8s集群，1台master节点，3台worker节点 (官方列举了三种搭建方式，有兴趣者可参考官方文档) 

`配置要求`：

- One or more machines running one of:
  - Ubuntu 16.04+
  - Debian 9+
  - CentOS 7
  - Red Hat Enterprise Linux (RHEL) 7
  - Fedora 25+
  - HypriotOS v1.0.1+
  - Container Linux (tested with 1800.6.0)
- 2 GB or more of RAM per machine (any less will leave little room for your apps)
- 2 CPUs or more
- Full network connectivity between all machines in the cluster (public or private network is fine)
- Unique hostname, MAC address, and product_uuid for every node. See here for more details.
- Certain ports are open on your machines. See here for more details.
- Swap disabled. You **MUST** disable swap in order for the kubelet to work properly

1-2 确定kubelet、kubeadm、kubectl版本

```
Docker       18.09.0
---
kubeadm-1.20.0-0 
kubelet-1.20.0-0 
kubectl-1.20.0-0
---
k8s.gcr.io/kube-apiserver:v1.20.0
k8s.gcr.io/kube-controller-manager:v1.20.0
k8s.gcr.io/kube-scheduler:v1.20.0
k8s.gcr.io/kube-proxy:v1.20.0
k8s.gcr.io/pause:3.2
k8s.gcr.io/etcd:3.4.13-0
k8s.gcr.io/coredns:1.7.0
---
calico:v3.9.6
```

1-3开始安装Docker

每一台机器上都安装好Docker，版本为18.09.0

安装基础组件

yum -y update
yum install -y conntrack ipvsadm ipset jq sysstat curl iptables libseccomp

安装必要的依赖

sudo yum install -y yum-utils device-mapper-persistent-data lvm2

设置docker仓库 

sudo yum-config-manager --add-repo http://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo

sudo systemctl daemon-reload

安装docker

yum install -y docker-ce-18.09.0 docker-ce-cli-18.09.0 containerd.io

启动docker

sudo systemctl start docker && sudo systemctl enable docker

1-4修改四台机器的Host

设置master的hostname，并且修改hosts文件

sudo hostnamectl set-hostname m

vi /etc/hosts

10.5.55.39 m
10.5.55.36 w1
10.5.55.37 w2
10.5.55.38 w3

设置worker01/02/03的hostname，并且修改hosts文件

sudo hostnamectl set-hostname w1
sudo hostnamectl set-hostname w2
sudo hostnamectl set-hostname w3

vi /etc/hosts
10.5.55.39 m
10.5.55.36 w1
10.5.55.37 w2
10.5.55.38 w3

使用ping测试一下网络环境

ping m

piong w1

ping w2

ping w3

1-5系统基础配置

# (1)关闭防火墙
systemctl stop firewalld && systemctl disable firewalld

# (2)关闭selinux
setenforce 0
sed -i 's/^SELINUX=enforcing$/SELINUX=permissive/' /etc/selinux/config

# (3)关闭swap
swapoff -a
sed -i '/swap/s/^\(.*\)$/#\1/g' /etc/fstab

# (4)配置iptables的ACCEPT规则
iptables -F && iptables -X && iptables -F -t nat && iptables -X -t nat && iptables -P FORWARD ACCEPT

# (5)设置系统参数
cat <  /etc/sysctl.d/k8s.conf
net.bridge.bridge-nf-call-ip6tables = 1
net.bridge.bridge-nf-call-iptables = 1
EOF

sysctl --system

1-6安装kubelet、kubeadm、kubelet

```shell
cat < /etc/yum.repos.d/kubernetes.repo
[kubernetes]
name=Kubernetes
baseurl=http://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64
enabled=1
gpgcheck=0
repo_gpgcheck=0
gpgkey=http://mirrors.aliyun.com/kubernetes/yum/doc/yum-key.gpg
       http://mirrors.aliyun.com/kubernetes/yum/doc/rpm-package-key.gpg
EOF
```

> (2)安装kubeadm&kubelet&kubectl

```shell
yum install -y kubeadm-1.20.0-0 kubelet-1.20.0-0 kubectl-1.20.0-0
```

> (3)docker和k8s设置同一个cgroup

```shell
# docker
vi /etc/docker/daemon.json
    "exec-opts": ["native.cgroupdriver=systemd"],
    
systemctl restart docker
    
# kubelet，这边如果发现输出directory not exist，也说明是没问题的
sed -i "s/cgroup-driver=systemd/cgroup-driver=cgroupfs/g" /usr/lib/systemd/system/kubelet.service.d/10-kubeadm.conf
    
systemctl enable kubelet && systemctl start kubelet
```

1-7解决镜像拉取不到的问题

```shell
#!/bin/bash

set -e

KUBE_VERSION=v1.20.0
KUBE_PAUSE_VERSION=3.2
ETCD_VERSION=3.4.13-0
CORE_DNS_VERSION=1.7.0

GCR_URL=k8s.gcr.io
ALIYUN_URL=registry.cn-hangzhou.aliyuncs.com/google_containers/k8s.gcr.io/defaultbackend-amd64:1.5

images=(kube-proxy:${KUBE_VERSION}
kube-scheduler:${KUBE_VERSION}
kube-controller-manager:${KUBE_VERSION}
kube-apiserver:${KUBE_VERSION}
pause:${KUBE_PAUSE_VERSION}
etcd:${ETCD_VERSION}
coredns:${CORE_DNS_VERSION})

for imageName in ${images[@]} ; do
  docker pull $ALIYUN_URL/$imageName
  docker tag  $ALIYUN_URL/$imageName $GCR_URL/$imageName
  docker rmi $ALIYUN_URL/$imageName
done
```

# 运行脚本

sh ./kubeadm.sh

# 查看镜像
docker images

此处我搭建了harbor仓库，将镜像push至harbor仓库

* 创建脚本kubeadm-push.sh

```
#!/bin/bash

set -e

KUBE_VERSION=v1.20.0
KUBE_PAUSE_VERSION=3.2
ETCD_VERSION=3.4.13-0
CORE_DNS_VERSION=1.7.0

GCR_URL=k8s.gcr.io
REGISTRY_URL=10.5.55.40

images=(kube-proxy:${KUBE_VERSION}
kube-scheduler:${KUBE_VERSION}
kube-controller-manager:${KUBE_VERSION}
kube-apiserver:${KUBE_VERSION}
pause:${KUBE_PAUSE_VERSION}
etcd:${ETCD_VERSION}
coredns:${CORE_DNS_VERSION})

for imageName in ${images[@]} ; do
  docker tag $GCR_URL/$imageName $REGISTRY_URL/$imageName
  docker push $REGISTRY_URL/$imageName
  docker rmi $REGISTRY_URL/$imageName
done
```

1-8初始化master节点

`注意`：**此操作是在主节点上进行**

kubeadm init --kubernetes-version=1.20.0 --apiserver-advertise-address=10.5.55.39 --pod-network-cidr=10.0.0.0/16

【若要重新初始化集群状态：kubeadm reset (在全部节点执行)，然后再进行上述操作】

**保存好最后kubeadm join的信息**

1-9初始化work节点

将配置文件移动到./root/kube目录下，并授权

```
mkdir -p $HOME/.kube
  sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
  sudo chown $(id -u):$(id -g) $HOME/.kube/config
```

w1,w2,w3加入集群

kubeadm join 10.5.55.39:6443 --token 097ba6.5vr2zllkjeu07mec     --discovery-token-ca-cert-hash sha256:63c508b28bb31c56d2dc6a4ab55b3e768b796bbfbceaf3e340518251de664f6f

1-10安装网络容器网络组件(此处选用calico)

wget https://docs.projectcalico.org/v3.9/manifests/calico.yaml
kubectl apply -f calico.yaml

# 确认一下calico是否安装成功
kubectl get pods --all-namespaces -w

1-11查看各节点信息是否正确

kubectl get nodes

NAME   STATUS   ROLES    AGE    VERSION
m      Ready    master   2d4h   v1.20.0
w1     Ready       2d4h   v1.20.0
w2     Ready       2d4h   v1.20.0
w3     Ready       2d4h   v1.20.0

致此整个Kubernetes集群安装结束。

下一章节，我会讲到ingress、dashboard、以及helm快捷安装operator的过程。

敬请期待