Kubernetes v1.15.0 集群的安装部署
一、软硬件要求
软硬件 最低配置 推荐配置
CPU 和 内存 Master：至少2核4G、
Node：至少4核16G Master：4核16G、
Node：根据运行的容器数量进行配置
Linux 操作系统 基于 x86_64 架构的各种Linux 发行版，Kernel 3.10 以上 Red Hat Linux 7
CentOS 7
etcd 3.0 版本及以上 3.3 版本
Docker 18.03 版本及以上 18.09 版本
1、机器准备
| 角色 | 主机名称 | 内网 IP | 配置 | 系统 |
|---|---|---|---|---|
| Master | master | 192.168.1.221 | 4 核 8 G | CentOS 7.8 |
| Node | node1 | 192.168.1.137 | 4 核 8 G | CentOS 7.8 |
| Node | node2 | 192.168.1.247 | 4 核 8 G | CentOS 7.8 |
| Node | node3 | 192.168.1.118 | 4 核 8 G | CentOS 7.8 |
部署步骤说明
使用 kubeadm 部署 kubernetes 主要有以下四个步骤：
安装 Docker （所有主机）
安装 Kubeadm（所有主机）
基础环境配置（所有主机）
创建 Kubernetes 集群
二、安装 Docker（所有主机）
安装 Docker 引擎，主要执行以下步骤：
安装 Docker 需要的一些系统工具
设置 Docker 的 yum 仓库源
安装并启动 Docker
调整 Docker 部分参数（主要是配合 Kubernetes 的一些配置）
安装必要的一些系统工具
yum install -y yum-utils device-mapper-persistent-data lvm2
设置 Docker 的 yum 仓库源
官方源（二选一）：
sudo yum-config-manager --add-repo https://download.docker.com/linux/centos/docker-ce.repo
阿里云源（二选一）：
sudo yum-config-manager --add-repo https://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo
安装并启动 Docker
yum install -y docker-ce
systemctl start docker && systemctl enable docker
调整 Docker 部分参数
这里主要做两点调整：
配置国内镜像加速（国内的各种原因，可能导致拉取镜像像蜗牛一样。。。）
修改 cgroup 驱动（Docker 默认使用 cgroupfs，Kubernetes 官方推荐 systemd）
mkdir -p /etc/docker
tee /etc/docker/daemon.json <<-'EOF'
{
"registry-mirrors": ["https://xxxxxx.mirror.aliyuncs.com"],
"exec-opts": ["native.cgroupdriver=systemd"]
}
EOF
systemctl daemon-reload && systemctl restart docker
注：这里采用的是阿里云的镜像源，当然你也可以选择：中科大、网易、DaoCloud（还有个号称中国官方的源，但实测好像没什么卵用）
三、安装 Kubeadm（所有主机）
安装 Kubeadm 主要有以下三个步骤：
配置 Kubernetes 的 yum 仓库源（这里选用阿里的源，你懂的）
安装 Kubeadm 和相关工具
启动 Kubelet
设置 Kubernetes 的 yum 仓库源
阿里云源（推荐）
tee /etc/yum.repos.d/kubernetes.repo <<-'EOF'
[kubernetes]
name=Kubernetes
baseurl=https://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64/
enabled=1
gpgcheck=1
repo_gpgcheck=1
gpgkey = https://mirrors.aliyun.com/kubernetes/yum/doc/rpm-package-key.gpg
https://mirrors.aliyun.com/kubernetes/yum/doc/yum-key.gpg
EOF
官方源（不推荐）
tee /etc/yum.repos.d/kubernetes.repo <<-'EOF'
[kubernetes]
name=Kubernetes
baseurl=https://packages.cloud.google.com/yum/repos/kubernetes-el7-x86_64
enabled=1
gpgcheck=1
repo_gpgcheck=1
gpgkey=https://packages.cloud.google.com/yum/doc/yum-key.gpg
https://packages.cloud.google.com/yum/doc/rpm-package-key.gpg
exclude=kube*
EOF
安装 Kubeadm 和相关工具
yum install -y kubelet-1.15.0 kubeadm-1.15.0 kubectl-1.15.0
启动 Kubelet
systemctl start kubelet && systemctl enable kubelet
四、 基础环境配置（所有主机）
基础环境配置，主要执行以下步骤：
设置各节点时间精确同步
关闭 firewalld/iptables 防火墙
关闭 SElinux 安全模组
关闭 Swap 交换分区
导入 IPVS 模块
修改 Bridge 桥接规则
开启 iptables 的 FORWARD 转发链
配置 Hosts 解析
设置各节点时间精确同步
systemctl start chronyd.service && systemctl enable chronyd.service
关闭 firewalld 防火墙（允许 master 和 node 的网络通信）
由于 Master 和 Node 存在大量网络交互，需对防火墙进行相关配置
外网环境：在防火墙上配置各组件相互通信的端口
内网环境：直接关闭防火墙，减少防火墙规则的维护工作
systemctl stop firewalld && systemctl disable firewalld
关闭 SElinux 安全模组（让容器可以读取主机的文件系统）
setenforce 0 && sed -i "s/SELINUX=enforcing$/SELINUX=disabled/g" /etc/selinux/config
关闭 Swap 交换分区（启用了 Swap，则 Qos 策略可能会失效）
swapoff -a && sed -i "s/\/dev\/mapper\/centos-swap/\#\/dev\/mapper\/centos-swap/g" /etc/fstab
导入 IPVS 模块（用来为大量服务进行负载均衡）
cat > /etc/sysconfig/modules/ipvs.modules <修改 Bridge 桥接规则（部分 Docker 安装时会为我们修改，这里统一进行手动修改）
cat > /etc/sysctl.d/k8s.conf << EOF
net.bridge.bridge-nf-call-ip6tables = 1
net.bridge.bridge-nf-call-iptables = 1
vm.swappiness=0
EOF
sysctl --system
开启 iptables 的 FORWARD 转发链（Docker 1.13 后禁用了 FORWARD 链，这可能会引起 Pod 间无法通信）
iptables -P FORWARD ACCEPT
sed -i '/ExecStart/a ExecStartPost=/sbin/iptables -P FORWARD ACCEPT' /usr/
lib/systemd/system/docker.service
systemctl daemon-reload
配置 Hosts 解析（添加 k8s 所有节点的 IP 和对应主机名，否则初始化的时候会出现告警甚至错误）
tee /etc/hosts <<-'EOF'
::1 localhost localhost.localdomain localhost6 localhost6.localdomain6
127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4
127.0.0.1 ecs-c271-0003.novalocal ecs-c271-0003
192.168.1.221 master
192.168.1.137 node1
192.168.1.247 node2
192.168.1.118 node3
EOF
安装一些必要的工具（这些工具在以后的命令中会用到）
yum install -y ipset
yum install -y ipvsadm
yum install -y bind-utils
五、创建 Kubernetes 集群
创建 Kubernetes 集群主要有两个步骤：
初始化 Master 节点
初始化 Node 节点
- 初始化 Master 节点
初始化 Master 节点，主要有四个步骤：
执行初始化
复制(分发)配置文件
安装 CNI 网络插件
检查 Master 的 Pod 及 集群状态
执行初始化
自定义配置较少时：推荐使用 配置参数 的方式进行初始化
kubeadm init --kubernetes-version=v1.15.0 --pod-network-cidr=10.244.0.0/16 --image-repository=registry.cn-hangzhou.aliyuncs.com/google_containers
自定义配置较多时，推荐使用 配置文件 的方式进行初始化：
使用 kubeadm config print init-defaults > kubeadm-init.yaml 获取初始配置文件进行相应的自定义修改
然后使用 kubeadm init --config kubeadm-init.yaml，通过配置文件进行初始化
修改初始化配置文件
cat > master-init.yaml << EOF
apiVersion: kubeadm.k8s.io/v1beta2
kind: InitConfiguration
localAPIEndpoint:
advertiseAddress: 192.168.1.221
bindPort: 6443
---
apiVersion: kubeadm.k8s.io/v1beta2
imageRepository: registry.cn-hangzhou.aliyuncs.com/google_containers
kind: ClusterConfiguration
kubernetesVersion: v1.15.0
networking:
dnsDomain: cluster.local
podSubnet:
EOF
执行初始化
kubedam init --master-init.yaml
注意：
初始化之后会安装网络插件，由于各个网络插件使用的网段不一样，
故需对 命令中的 --pod-network-cidr= 或文件中的 podSubnet: 进行自定义配置，
（Calico 的默认网段：192.168.0.0/16，Flannel 的默认网段：10.244.0.0/16）
输出以下内容表示成功：
Your Kubernetes control-plane has initialized successfully!
To start using your cluster, you need to run the following as a regular user:
mkdir -p $HOME/.kube
sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
sudo chown $(id -u):$(id -g) $HOME/.kube/config
You should now deploy a pod network to the cluster.
Run "kubectl apply -f [podnetwork].yaml" with one of the options listed at:
https://kubernetes.io/docs/concepts/cluster-administration/addons/
Then you can join any number of worker nodes by running the following on each as root:
kubeadm join 192.168.1.221:6443 --token gm4t0y.lwq18lpp9z84op27 \
--discovery-token-ca-cert-hash
sha256:965b9c1f1f7d6a91177e28c113a0af72ac56bd752a2dedd66beddb59ffb9ca4e
// 上面一句是 Node 节点加入集群的命令，记得保存一下
按照提示，复制配置文件到普通用户目录
非 root 用户
拷贝配置文件到 Master 节点
mkdir -p $HOME/.kube
sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
sudo chown $(id -u):$(id -g) $HOME/.kube/config
分发配置文件到各 Node 节点（让 Node 节点使用 kubectl）
scp /etc/kubernetes/admin.conf KubernetesNode1:~/.kube/config
scp /etc/kubernetes/admin.conf KubernetesNode2:~/.kube/config
记得在 Node 上进行授权，sudo chown ( i d − u ) : (id -u): (id−u):(id -g) $HOME/.kube/config
root 用户
拷贝配置文件到 Master 节点
mkdir /root/.kube
cp -i /etc/kubernetes/admin.conf /root/.kube/config
分发配置文件到各 Node 节点（让 Node 节点使用 kubectl）
scp /etc/kubernetes/admin.conf KubernetesNode1:/root/.kube/config
scp /etc/kubernetes/admin.conf KubernetesNode2:/root/.kube/config
六、安装 CNI 网络插件
Flannel 插件
kubectl apply -f https://raw.githubusercontent.com/coreos/flannel/master/Documentation/kube-flannel.yml
如果报错：The connection to the server raw.githubusercontent.com was refused - did you specify the right host or port?
原因：外网不可访问
解决办法：
sudo vim /etc/hosts
199.232.28.133 raw.githubusercontent.com
参考：Flannel Github - README.md
Calico 插件
kubectl apply -f https://docs.projectcalico.org/v3.8/manifests/calico.yaml
参考：Calico 官方文档 - Quickstart for Calico on Kubernetes
更多 CNI 插件可以参考：Kubernetes 官方文档提供的教程 - Installing Addons
检查 Master 的 Pod 及 集群状态
使用 kubectl get pod -n kube-system -o wide，查看 Pod 状态均为 Runing 即可
使用 kubectl get node -o wide，查看 Node 状态为 Ready 表示 Master 初始化完成
- 初始化 Node 节点
初始化 Node 节点就比较简单了，只有两步，即：
执行初始化
检查 Node 的 Pod 及 集群状态
初始化 Node
使用 Master 初始化时的命令进行初始化即可，Node 节点初始化后，就直接加入了集群
kubeadm join 192.168.1.221:6443 --token gm4t0y.lwq18lpp9z84op27 --discovery-token-ca-cert-hash sha256:965b9c1f1f7d6a91177e28c113a0af72ac56bd752a2dedd66beddb59ffb9ca4e
注意：没有记录集群 join 命令的可以通过以下方式重新获取
sudo kubeadm token create --print-join-command --ttl=0
检查 Node 的 Pod 及 集群状态
使用 kubectl get pod -n kube-system -o wide，查看 Pod 状态均为 Runing 即可
使用 kubectl get node -o wide，查看 所有节点 状态均为 Ready 表示 Master 初始化完成
查看集群状态
七、 重置 Kubernetes 集群
在集群安装失败，或者出现一些无法解决的问题时，可以重置集群，再重新安装
重置 Kubernetes 集群，主要的执行步骤如下：
kubeadm 集群重置
iptables 规则清理
ipvs 规则清理
kubernetes 配置文件清理
etcd 配置清理
cni 网络插件清理
命令
kubeadm reset
iptables -F && iptables -t nat -F && iptables -t mangle -F && iptables -X
ipvsadm --clear
rm -rf ~/.kube
rm -rf /var/lib/etcd
ifconfig cni0 down
ip link delete cni0
ifconfig flannel.1 down
ip link delete flannel.1
rm -rf /var/lib/cni/