安装 kubeadm(每台机器上执行)

前提准备

一台或多台运行着下列系统的机器:
- CentOS 7
每台机器 2 GB 或更多的 RAM (如果少于这个数字将会影响您应用的运行内存)
2 CPU 核心或更多
集群中的所有机器的网络彼此均能相互连接(公网和内网都可以)

节点之中不可以有重复的主机名，MAC 地址，product_uuid。

您可以使用下列命令获取网络接口的 MAC 地址：ip link 或是 ifconfig -a
下列命令可以用来获取 product_uuid sudo cat /sys/class/dmi/id/product_uuid

一般来讲，硬件设备会拥有独一无二的地址，但是有些虚拟机可能会雷同。Kubernetes 使用这些值来唯一确定集群中的节点。如果这些值在集群中不唯一，可能会导致安装失败。

禁用 Swap 交换分区。为了保证 kubelet 正确运行

[root@asdff ~]# sysctl -w vm.swappiness=0
[root@asdff ~]# echo "vm.swappiness = 0">> /etc/sysctl.conf
[root@asdff ~]# swapoff -a
# 查看Swap是否关闭
[root@asdff ~]# free -m
              total        used        free      shared  buff/cache   available
Mem:          64265         487       62179           0        1598       63244
Swap:             0           0           0

检查网络适配器

如果您有一个以上的网络适配器，同时您的 Kubernetes 组件通过默认路由不可达，我们建议您预先添加 IP 路由规则，这样 Kubernetes 集群就可以通过对应的适配器完成连接。

检查所需端口是否被占用

Master 节点

规则	方向	端口范围	作用	使用者
TCP	Inbound	6443*	Kubernetes API server	All
TCP	Inbound	2379-2380	etcd server client API	kube-apiserver, etcd
TCP	Inbound	10250	Kubelet API	Self, Control plane
TCP	Inbound	10251	kube-scheduler	Self
TCP	Inbound	10252	kube-controller-manager	Self

Worker 节点

规则	方向	端口范围	作用	使用者
TCP	Inbound	10250	Kubelet API	Self, Control plane
TCP	Inbound	30000-32767	NodePort Services**	All

任何使用 * 标记的端口号都有可能被覆盖，所以您需要保证您的自定义端口的状态是开放的。

虽然主节点已经包含了 etcd 的端口，您也可以使用自定义的外部 etcd 集群，或是指定自定义端口。您使用的 pod 网络插件 (见下) 也可能需要某些特定端口开启。由于各个 pod 网络插件都有所不同，请参阅他们各自文档中对端口的要求。

安装 runtime(每台机器上执行)

从 v1.6.0 起，Kubernetes 开始允许使用 CRI，容器运行时接口。默认的容器运行时是 Docker，这是由 kubelet 内置的 CRI 实现 dockershim 开启的。

其他的容器运行时有：

containerd (containerd 的内置 CRI 插件)
cri-o
frakti
rkt

CRI 安装指南，以下安装其中一个即可(Docker、CRI-O、Containerd)

Docker

在每台机器上安装Docker。建议使用版本18.06.2，但是1.11、1.12、1.13、17.03和18.09也可以使用。在Kubernetes发布说明中跟踪最新的经过验证的Docker版本。
使用以下命令在系统上安装Docker:

# 安装 required packages.
yum install yum-utils device-mapper-persistent-data lvm2

# 设置 yum repository
yum-config-manager \
  --add-repo \
  https://download.docker.com/linux/centos/docker-ce.repo

# 安装 Docker CE
yum update && yum install docker-ce-18.06.2.ce

# 创建 /etc/docker 目录.
mkdir /etc/docker

# 设置 daemon.
cat > /etc/docker/daemon.json <

 
 有关更多信息，请参阅官方Docker安装指南。 
 CRI-O 
 本节包含将crio安装为CRI运行时所需的步骤。
 使用以下命令在你的系统上安装crio: 
 先决条件 
 modprobe overlay
modprobe br_netfilter

# 设置需要的 sysctl 参数，这些参数会在重启时持续存在。
cat > /etc/sysctl.d/99-kubernetes-cri.conf <
 
 安装 CRI-O 
 # 安装 yum 源
yum-config-manager --add-repo=https://cbs.centos.org/repos/paas7-crio-311-candidate/x86_64/os/

# 安装 CRI-O
yum install --nogpgcheck cri-o
 
 启动 CRI-O 
 # 启动 CRI-O
systemctl start crio
# 设置开机启动
systemctl enable crio
 
 有关更多信息，请参阅crio安装指南。 
 Containerd 
 本节包含使用containerd作为CRI运行时的必要步骤。
 使用以下命令在系统上安装Containerd: 
 先决条件 
 modprobe overlay
modprobe br_netfilter

# Setup required sysctl params, these persist across reboots.
cat > /etc/sysctl.d/99-kubernetes-cri.conf <
 
 安装 containerd 
 # 安装 required packages
yum install yum-utils device-mapper-persistent-data lvm2

# 安装 docker repository
yum-config-manager \
    --add-repo \
    https://download.docker.com/linux/centos/docker-ce.repo

# 安装 containerd
yum update && yum install containerd.io

# 配置 containerd
mkdir -p /etc/containerd
containerd config default > /etc/containerd/config.toml

# 重启 containerd
systemctl restart containerd
# 设置开机启动
systemctl enable containerd
 
 systemd 
 要使用 systemd cgroup 驱动程序, 在 /etc/containerd/config.toml 中设置 plugins.cri.systemd_cgroup = true。 当使用kubeadm 时，还需要为 kubelet 手动配置 cgroup 驱动程序： 
 安装 kubeadm, kubelet 和 kubectl（每台机器上执行） 
 您需要在每台机器上都安装以下的软件包： 
  
  kubeadm: 用来初始化集群的指令。 
  kubelet: 在集群中的每个节点上用来启动 pod 和 container 等。 
  kubectl: 用来与集群通信的命令行工具。 
  
 kubeadm 不能 帮您安装或管理 kubelet 或 kubectl ，所以您得保证他们满足通过 kubeadm 安装的 Kubernetes 控制层对版本的要求。如果版本没有满足要求，就有可能导致一些难以想到的错误或问题。然而控制层与 kubelet 间的 小版本号 不一致无伤大雅，不过请记住 kubelet 的版本不可以超过 API server 的版本。例如 1.8.0 的 API server 可以适配 1.7.0 的 kubelet，反之就不行了。 
 cat < /etc/yum.repos.d/kubernetes.repo
[kubernetes]
name=Kubernetes
baseurl=http://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64
enabled=1
gpgcheck=0
repo_gpgcheck=0
gpgkey=http://mirrors.aliyun.com/kubernetes/yum/doc/yum-key.gpg
        http://mirrors.aliyun.com/kubernetes/yum/doc/rpm-package-key.gpg
EOF

# 将 SELinux 设置为 permissive 模式(将其禁用)
setenforce 0
sed -i 's/^SELINUX=enforcing$/SELINUX=permissive/' /etc/selinux/config

yum install -y kubelet kubeadm kubectl --disableexcludes=kubernetes

systemctl enable kubelet && systemctl start kubelet
 
 请注意： 
  
  通过命令 setenforce 0 和 sed ... 可以将 SELinux 设置为 permissive 模式(将其禁用)。 只有执行这一操作之后，容器才能访问宿主的文件系统，进而能够正常使用 Pod 网络。您必须这么做，直到 kubelet 做出升级支持 SELinux 为止。 - 一些 RHEL/CentOS 7 的用户曾经遇到过：由于 iptables 被绕过导致网络请求被错误的路由。您得保证 在您的 sysctl 配置中 net.bridge.bridge-nf-call-iptables 被设为1。 
  
 cat <  /etc/sysctl.d/k8s.conf
net.bridge.bridge-nf-call-ip6tables = 1
net.bridge.bridge-nf-call-iptables = 1
EOF

sysctl --system
 
 kubelet 现在每隔几秒就会重启，因为它陷入了一个等待 kubeadm 指令的死循环。 
 在 Master 节点上配置 kubelet 所需的 cgroup 驱动(使用 CRI 为 Docker 的情况下，跳过此步骤) 
 使用 Docker 时，kubeadm 会自动为其检测 cgroup 驱动在运行时对 /var/lib/kubelet/kubeadm-flags.env 文件进行配置。 如果您使用了不同的 CRI， 您得把 /etc/default/kubelet 文件中的 cgroup-driver 位置改为对应的值，像这样： 
 KUBELET_EXTRA_ARGS=--cgroup-driver=
 
 这个文件将会被 kubeadm init 和 kubeadm join 用于为 kubelet 获取 额外的用户参数。 
 请注意，您只需要在您的 cgroup driver 不是 cgroupfs 时这么做，因为 cgroupfs 已经是 kubelet 的默认值了。 
 需要重启 kubelet： 
 systemctl daemon-reload
systemctl restart kubelet
 
 初始化集群（Master 执行） 
 # 安装最新版本的 kubernetes
kubeadm init --image-repository registry.aliyuncs.com/google_containers

# 安装指定版本
kubeadm init --image-repository registry.aliyuncs.com/google_containers --kubernetes-version v1.14.0
 
 执行 kubeadm init 命令，日志如下： 
 [init] Using Kubernetes version: v1.14.0
[preflight] Running pre-flight checks
    [WARNING IsDockerSystemdCheck]: detected "cgroupfs" as the Docker cgroup driver. The recommended driver is "systemd". Please follow the guide at https://kubernetes.io/docs/setup/cri/
[preflight] Pulling images required for setting up a Kubernetes cluster
[preflight] This might take a minute or two, depending on the speed of your internet connection
[preflight] You can also perform this action in beforehand using 'kubeadm config images pull'
[kubelet-start] Writing kubelet environment file with flags to file "/var/lib/kubelet/kubeadm-flags.env"
[kubelet-start] Writing kubelet configuration to file "/var/lib/kubelet/config.yaml"
[kubelet-start] Activating the kubelet service
[certs] Using certificateDir folder "/etc/kubernetes/pki"
[certs] Generating "front-proxy-ca" certificate and key
[certs] Generating "front-proxy-client" certificate and key
[certs] Generating "etcd/ca" certificate and key
[certs] Generating "etcd/peer" certificate and key
[certs] etcd/peer serving cert is signed for DNS names [izbp1dtcbwezldtyg8ygj7z localhost] and IPs [172.16.66.178 127.0.0.1 ::1]
[certs] Generating "apiserver-etcd-client" certificate and key
[certs] Generating "etcd/healthcheck-client" certificate and key
[certs] Generating "etcd/server" certificate and key
[certs] etcd/server serving cert is signed for DNS names [izbp1dtcbwezldtyg8ygj7z localhost] and IPs [172.16.66.178 127.0.0.1 ::1]
[certs] Generating "ca" certificate and key
[certs] Generating "apiserver" certificate and key
[certs] apiserver serving cert is signed for DNS names [izbp1dtcbwezldtyg8ygj7z kubernetes kubernetes.default kubernetes.default.svc kubernetes.default.svc.cluster.local] and IPs [10.96.0.1 172.16.66.178]
[certs] Generating "apiserver-kubelet-client" certificate and key
[certs] Generating "sa" key and public key
[kubeconfig] Using kubeconfig folder "/etc/kubernetes"
[kubeconfig] Writing "admin.conf" kubeconfig file
[kubeconfig] Writing "kubelet.conf" kubeconfig file
[kubeconfig] Writing "controller-manager.conf" kubeconfig file
[kubeconfig] Writing "scheduler.conf" kubeconfig file
[control-plane] Using manifest folder "/etc/kubernetes/manifests"
[control-plane] Creating static Pod manifest for "kube-apiserver"
[control-plane] Creating static Pod manifest for "kube-controller-manager"
[control-plane] Creating static Pod manifest for "kube-scheduler"
[etcd] Creating static Pod manifest for local etcd in "/etc/kubernetes/manifests"
[wait-control-plane] Waiting for the kubelet to boot up the control plane as static Pods from directory "/etc/kubernetes/manifests". This can take up to 4m0s
[apiclient] All control plane components are healthy after 15.001963 seconds
[upload-config] storing the configuration used in ConfigMap "kubeadm-config" in the "kube-system" Namespace
[kubelet] Creating a ConfigMap "kubelet-config-1.14" in namespace kube-system with the configuration for the kubelets in the cluster
[upload-certs] Skipping phase. Please see --experimental-upload-certs
[mark-control-plane] Marking the node izbp1dtcbwezldtyg8ygj7z as control-plane by adding the label "node-role.kubernetes.io/master=''"
[mark-control-plane] Marking the node izbp1dtcbwezldtyg8ygj7z as control-plane by adding the taints [node-role.kubernetes.io/master:NoSchedule]
[bootstrap-token] Using token: 1zvfgx.nwsxi2lectpro9r6
[bootstrap-token] Configuring bootstrap tokens, cluster-info ConfigMap, RBAC Roles
[bootstrap-token] configured RBAC rules to allow Node Bootstrap tokens to post CSRs in order for nodes to get long term certificate credentials
[bootstrap-token] configured RBAC rules to allow the csrapprover controller automatically approve CSRs from a Node Bootstrap Token
[bootstrap-token] configured RBAC rules to allow certificate rotation for all node client certificates in the cluster
[bootstrap-token] creating the "cluster-info" ConfigMap in the "kube-public" namespace
[addons] Applied essential addon: CoreDNS
[addons] Applied essential addon: kube-proxy

Your Kubernetes control-plane has initialized successfully!

To start using your cluster, you need to run the following as a regular user:

  mkdir -p $HOME/.kube
  sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
  sudo chown $(id -u):$(id -g) $HOME/.kube/config

You should now deploy a pod network to the cluster.
Run "kubectl apply -f [podnetwork].yaml" with one of the options listed at:
  https://kubernetes.io/docs/concepts/cluster-administration/addons/

Then you can join any number of worker nodes by running the following on each as root:

kubeadm join 172.16.66.178:6443 --token 1zvfgx.nwsxi2lectpro9r6 \
    --discovery-token-ca-cert-hash sha256:1b68e57e3bf11f4c4d310172a5fdef1863bde64d11f1fc0d1e13ce37147ed4a0
 
 根据日志提示：“Your Kubernetes control-plane has initialized successfully!”，表示成功 
 按照以上提示，执行以下命令复制配置文件到普通用户的 home 目录下： 
 mkdir -p $HOME/.kube
sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
sudo chown $(id -u):$(id -g) $HOME/.kube/config
 
 若你是 root 用户安装的，执行以下命令即可： 
 export KUBECONFIG=/etc/kubernetes/admin.conf
 
 至此，Master 节点上 Kubernetes 安装完毕。但集群内还没有可用的 Node 节点，并缺乏容器网络配置。 
 安装 Node 节点，并加入集群（Node 节点执行） 
 根据上一步的日志提示执行以下命令（Then you can join any number of worker nodes by running the following on each as root:）： 
 # 此命令来自于 master 节点执行 kubeadm init 命令的日志提示，复制即可
kubeadm join 172.16.66.178:6443 --token 1zvfgx.nwsxi2lectpro9r6 \
    --discovery-token-ca-cert-hash sha256:1b68e57e3bf11f4c4d310172a5fdef1863bde64d11f1fc0d1e13ce37147ed4a0
 
 kubeadm 在 Master 节点也安装了 kubelet，默认情况下并不参与工作负载。若希望安装一个单机 All-In-One 的 Kubernetes 环境，需删除 Node 的 Label “node-role-kubernetes.io/master”，执行以下命令，让 Master 节点变成 Node 节点： 
 kubectl taint nodes --all node-role.kubernetes.io/master-
 
 安装网络插件 
 根据 kubeadm init 命令的日志提示： 
 You should now deploy a pod network to the cluster.
Run "kubectl apply -f [podnetwork].yaml" with one of the options listed at:
  https://kubernetes.io/docs/concepts/cluster-administration/addons/
 
 网络插件有很多选择，可以参考：https://kubernetes.io/docs/concepts/cluster-administration/addons/ 的说明。 
 我这里选择 Weave Net 插件，执行以下命令即可安装： 
 kubectl apply -f "https://cloud.weave.works/k8s/net?k8s-version=$(kubectl version | base64 | tr -d '\n')"
 
 kubectl 命令自动补全功能开启 
 yum install -y bash-completion

source /usr/share/bash-completion/bash_completion

source <(kubectl completion bash)
 
 验证 Kubernetes 集群是否正常 
 在 Master 节点执行以下命令，以验证 Kubernetes 集群相关 Pod 是否正常创建并运行： 
 # kubectl apply 之后，相关的 Pod 需要一定的时间重启，过一会执行即可
kubectl get pods --all-namespaces
NAMESPACE     NAME                                              READY   STATUS    RESTARTS   AGE
kube-system   coredns-8686dcc4fd-bkwdp                          1/1     Running   0          22m
kube-system   coredns-8686dcc4fd-rt2pm                          1/1     Running   0          22m
kube-system   etcd-izbp1dtcbwezldtyg8ygj7z                      1/1     Running   0          21m
kube-system   kube-apiserver-izbp1dtcbwezldtyg8ygj7z            1/1     Running   0          20m
kube-system   kube-controller-manager-izbp1dtcbwezldtyg8ygj7z   1/1     Running   0          20m
kube-system   kube-proxy-btm7l                                  1/1     Running   0          8m20s
kube-system   kube-proxy-cnd7h                                  1/1     Running   0          22m
kube-system   kube-proxy-kxr6h                                  1/1     Running   0          8m29s
kube-system   kube-scheduler-izbp1dtcbwezldtyg8ygj7z            1/1     Running   0          20m
kube-system   weave-net-5f99p                                   2/2     Running   0          73s
kube-system   weave-net-x2fhz                                   2/2     Running   0          73s
kube-system   weave-net-zgsrk                                   2/2     Running   0          73s
 
 以上 Pod 都为 Running 说明成功，若发现有状态错误的 Pod ，可以执行 kubectl --namespace=kube-system describe pod  来查看错误原因。 
 至此，通过 kubeadm 搭建 kubernetes 就完成了。若安装失败，则可执行 kubeadm reset 命令将主机恢复至原状，重新执行 kubeadm init 命令再次安装。

kubernates 集群部署

安装 kubeadm(每台机器上执行)

前提准备

节点之中不可以有重复的主机名，MAC 地址，product_uuid。

禁用 Swap 交换分区。为了保证 kubelet 正确运行

检查网络适配器

检查所需端口是否被占用

Master 节点

Worker 节点

安装 runtime(每台机器上执行)

CRI 安装指南，以下安装其中一个即可(Docker、CRI-O、Containerd)

Docker

CRI-O

先决条件

安装 CRI-O

启动 CRI-O

Containerd

先决条件

systemd

安装 kubeadm, kubelet 和 kubectl（每台机器上执行）

在 Master 节点上配置 kubelet 所需的 cgroup 驱动(使用 CRI 为 Docker 的情况下，跳过此步骤)

初始化集群（Master 执行）

安装 Node 节点，并加入集群（Node 节点执行）

安装网络插件

kubectl 命令自动补全功能开启

验证 Kubernetes 集群是否正常

你可能感兴趣的:(kubernates 集群部署)