kubernetes 集群搭建( kubeadm 方式 )

1、 前置知识点

目前生产部署 kubernetes 集群主要有两种方式，kubeadm方式和二进制方式，其中kubeadm方式比较方便快捷，

 kubeadm 是一个 K8s 部署工具，提供 kubeadm init 和 kubeadm join，用于快速部署 kubernetes 集群。

官方地址：https://kubernetes.io/docs/reference/setup-tools/kubeadm/kubeadm/

2 、kubeadm  部署方式介绍

kubeadm 是官方社区推出的一个用于快速部署 kubernetes 集群的工具，这个工具能通

过两条指令完成一个 kubernetes 集群的部署：

第一、创建一个 Master 节点 kubeadm init

第二， 将 Node 节点加入到当前集群中 $ kubeadm join

3 、安装要求

在开始之前，部署 Kubernetes 集群机器需要满足以下几个条件：

- 一台或多台机器，操作系统 CentOS7.x-86_x64

- 硬件配置：2GB 或更多 RAM，2 个 CPU 或更多 CPU，硬盘 30GB 或更多

- 集群中所有机器之间网络互通

- 可以访问外网，需要拉取镜像

- 禁止 swap 分区

4 、最终目标

（1） 在所有节点上安装 Docker 和 kubeadm

（2）部署 Kubernetes Master

（3）部署容器网络插件

（4）部署 Kubernetes Node，将节点加入 Kubernetes 集群中

5、环境准备

三台服务器，一主两从：

k8s-master 10.10.166.200

k8s-node1 10.10.166.201

k8s-node2 10.10.166.202

6、系统初始化

6.1  关闭防火墙：

$ systemctl stop firewalld

$ systemctl disable firewalld

6.2  关闭 selinux：

$ setenforce 0 # 临时关闭

$ sed -i 's/enforcing/disabled/' /etc/selinux/config # 永久关闭

6.3 关闭 swap：

$ swapoff -a    # 临时关闭swap

$ sed -ri 's/.*swap.*/#&/' /etc/fstab #永久关闭swap

6.4 主机名：

$ hostnamectl set-hostname 

6.5 在 master 添加 hosts：

$ cat >> /etc/hosts << EOF

10.10.166.200 k8s-master

10.10.166.201 k8s-node1

10.10.166.202 k8s-node2

EOF

6.6 将桥接的 IPv4 流量传递到 iptables 的链：

$ cat > /etc/sysctl.d/k8s.conf << EOF

net.bridge.bridge-nf-call-ip6tables = 1

net.bridge.bridge-nf-call-iptables = 1

EOF

$ sysctl --system # 生效

6.7 时间同步：

$ yum install ntpdate -y

$ ntpdate time.windows.com

7 、所有节点安装 Docker/kubeadm/kubelet

Kubernetes 默认 CRI（容器运行时）为 Docker，因此先安装 Docker。

（1）安装 Docker

$ yum install wget -y

$ wget https://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo -O /etc/yum.repos.d/docker-ce.repo

$ yum -y install docker-ce-18.06.1.ce-3.el7

$ systemctl enable docker && systemctl start docker

$ docker --version

（2）添加阿里云 YUM 软件源

      设置仓库地址

# cat > /etc/docker/daemon.json << EOF

{

   "registry-mirrors": ["https://b9pmyelo.mirror.aliyuncs.com"]

}

EOF

     添加 yum 源

$ cat > /etc/yum.repos.d/kubernetes.repo << EOF

[kubernetes]

name=Kubernetes

baseurl=https://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64

enabled=1

gpgcheck=0

repo_gpgcheck=0

gpgkey=https://mirrors.aliyun.com/kubernetes/yum/doc/yum-key.gpg

https://mirrors.aliyun.com/kubernetes/yum/doc/rpm-package-key.gpg

EOF

（3）安装 kubeadm，kubelet 和 kubectl

$ yum install -y kubelet kubeadm kubectl

$ systemctl enable kubelet

8 、部署 Kubernetes Master

（1）在 10.10.166.200（Master）执行

kubeadm init \
--apiserver-advertise-address=10.10.166.200 \
--image-repository registry.aliyuncs.com/google_containers \
--ignore-preflight-errors=Swap \
--kubernetes-version v1.19.2 \
--service-cidr=10.96.0.0/12 \
--pod-network-cidr=10.244.0.0/16

由于默认拉取镜像地址 k8s.gcr.io 国内无法访问，这里指定阿里云镜像仓库地址。

（2）使用 kubectl 工具：

$ mkdir -p $HOME/.kube

$ sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config

$ sudo chown $(id -u):$(id -g) $HOME/.kube/config

$ kubectl get nodes

9 、安装 Pod  网络插件（CNI）

$ kubectl apply -f https://raw.githubusercontent.com/coreos/flannel/master/Documentation/kube-flannel.yml

确保能够访问到 quay.io 这个 registery。如果 Pod 镜像下载失败，可以改这个镜像地址

10 、加入 s Kubernetes  Node

（1）在 10.10.166.201/10.10.166.202（Node）执行

向集群添加新节点，执行在 kubeadm init 输出的 kubeadm join 命令：

$ kubeadm join 10.10.166.200:6443 --token tpvyrp.1u2yrw4i8cxm5bop \
    --discovery-token-ca-cert-hash sha256:fb23a3f81fabf3231ec77e8e901527b14d258177ef8cead747e7a07f8a479a8a 

11 、测试 kubernetes  集群

在 Kubernetes 集群中创建一个 pod，验证是否正常运行：

$ kubectl create deployment nginx --image=nginx

$ kubectl expose deployment nginx --port=80 --type=NodePort

$ kubectl get pod,svc

访问地址：http://NodeIP:Port

12、部署单机版kubernetes

部署单机版k8s步骤与部署集群基本一致，步骤中去掉第10点，然后增加一个步骤，去掉 master 污点

13、去掉 master 污点

k8s是通过污点的机制来禁止 pod 部署在 master 上的，去除污点后 pod 会部署到 master 上，就成了单机版 k8s了

其实和就是和k8s集群部署一样，少了个节点加入，多了个去除 master 节点的污点。

(1)、查看污点

$ kubectl describe node

#可以看到 
Taints:             node-role.kubernetes.io/master:NoSchedule

(2)、去掉污点

$ kubectl taint nodes --all node-role.kubernetes.io/master-

访问地址：http://NodeIP:Port

14、删除svc，pod

(1)、删除svc:

$  kubectl get svc   //查询所以的svc

$ kubectl delete svc svcName

(2)、删除pod

直接删除pod，又会自动创建，用删除deployment方法来删除pod

$ kubectl get deployment  //查询出所有的deployment

$ kubectl delete deployment deploymentName

15、备注

要想外网能固定端口访问，编辑新创建的svc，比如：

$ kubectl edit svc nginx

 固定范围在kube-apiserver配置文件下参数

--service-node-port-range=30000-50000

默认情况下k8s对外暴露端口范围只能是30000-32767，这个范围其实是可以通过设置改变的。

编辑配置文件：

sudo vi /etc/kubernetes/manifests/kube-apiserver.yaml

在spec.containers.command 中添加如下配置，要注意格式

spec:
  containers:
  - command:
    - kube-apiserver
    - --service-node-port-range=1-65535  #端口范围，注意格式
    - --advertise-address=10.10.166.203
    - --allow-privileged=true
    - --authorization-mode=Node,RBAC
    - --client-ca-file=/etc/kubernetes/pki/ca.crt
    - --enable-admission-plugins=NodeRestriction
    - --enable-bootstrap-token-auth=true
    - --etcd-cafile=/etc/kubernetes/pki/etcd/ca.crt
    - --etcd-certfile=/etc/kubernetes/pki/apiserver-etcd-client.crt
    - --etcd-keyfile=/etc/kubernetes/pki/apiserver-etcd-client.key
    - --etcd-servers=https://127.0.0.1:2379
    - --insecure-port=0
    - --kubelet-client-certificate=/etc/kubernetes/pki/apiserver-kubelet-client.crt
    - --kubelet-client-key=/etc/kubernetes/pki/apiserver-kubelet-client.key
    - --kubelet-preferred-address-types=InternalIP,ExternalIP,Hostname
    - --proxy-client-cert-file=/etc/kubernetes/pki/front-proxy-client.crt
    - --proxy-client-key-file=/etc/kubernetes/pki/front-proxy-client.key
    - --requestheader-allowed-names=front-proxy-client
    - --requestheader-client-ca-file=/etc/kubernetes/pki/front-proxy-ca.crt
    - --requestheader-extra-headers-prefix=X-Remote-Extra-
    - --requestheader-group-headers=X-Remote-Group
    - --requestheader-username-headers=X-Remote-User
    - --secure-port=6443
    - --service-account-key-file=/etc/kubernetes/pki/sa.pub
    - --service-cluster-ip-range=10.96.0.0/12
    - --tls-cert-file=/etc/kubernetes/pki/apiserver.crt
    - --tls-private-key-file=/etc/kubernetes/pki/apiserver.key
    image: registry.aliyuncs.com/google_containers/kube-apiserver:v1.19.2

apiserver会自动更新配置，稍等一会儿配置就会生效。

 示例如下：

apiVersion: v1
kind: Service
metadata:
  creationTimestamp: "2020-09-29T00:52:07Z"
  labels:
    app: nginx
  name: nginx
  namespace: default
  resourceVersion: "2796"
  selfLink: /api/v1/namespaces/default/services/nginx
  uid: 47d61432-f03b-4a9a-93de-559524cde445
spec:
  clusterIP: 10.102.61.94
  externalTrafficPolicy: Cluster
  ports:
  - nodePort: 30499  #此处修改成外网访问的固定的端口，固定端口数值，必须是配置文件范围内
    port: 80
    protocol: TCP
    targetPort: 80
  selector:
    app: nginx
  sessionAffinity: None
  type: NodePort
status:
  loadBalancer: {}