kubeadm部署k8s集群
架构规划
操作系统
CentOS7.6_x64
软件版本
Docker 18.09.0-ce
Kubernetes 1.11
服务器角色、 IP
master 192.168.75.139
node1 192.168.75.140
node2 192.168.75.141
机器配置要求
2G
２核
注意
必须要进行互相解析
获取镜像
在dockerhub上拉取相应的镜像并重新打标。由于版本更新过快，拉取镜像的时候，一定要更改最新的版本。三台机器都要拉取镜像。
docker pull mirrorgooglecontainers/kube-apiserver:v1.15.0
docker tag mirrorgooglecontainers/kube-apiserver:v1.15.0 k8s.gcr.io/kube-apiserver:v1.15.0
docker pull mirrorgooglecontainers/kube-controller-manager:v1.15.0
docker tag mirrorgooglecontainers/kube-controller-manager:v1.15.0 k8s.gcr.io/kube-controller-manager:v1.15.0
docker pull mirrorgooglecontainers/kube-scheduler:v1.15.0
docker tag mirrorgooglecontainers/kube-scheduler:v1.15.0 k8s.gcr.io/kube-scheduler:v1.15.0
docker pull mirrorgooglecontainers/kube-proxy:v1.15.0
docker tag mirrorgooglecontainers/kube-proxy:v1.15.0 k8s.gcr.io/kube-proxy:v1.15.0
docker pull mirrorgooglecontainers/pause:3.1
docker tag mirrorgooglecontainers/pause:3.1 k8s.gcr.io/pause:3.1
docker pull mirrorgooglecontainers/etcd:3.3.10-1
docker tag mirrorgooglecontainers/etcd:3.3.10-1 k8s.gcr.io/etcd:3.3.10-1
docker pull coredns/coredns:1.3.1
docker tag coredns/coredns:1.3.1 k8s.gcr.io/coredns:1.3.1
docker pull quay.io/coreos/flannel:v0.11.0-amd64
系统配置
关闭防火墙
#systemctl stop firewalld
#systemctl disable firewalld
禁用Selinux
#sed -i 's/SELINUX=permissive/SELINUX=disabled/' /etc/sysconfig/selinux
关闭系统的swap
修改/etc/fstab 文件， 注释掉 SWAP 的自动挂载， 使用 free -m 确认 swap 已经关闭。
#swapoff -a
#sed -i 's/.*swap.*/#&/' /etc/fstab
#free -m
安装docker
# yum install -y yum-utils device-mapper-persistent-data lvm2
# yum-config-manager --add-repo https://download.docker.com/linux/centos/docker-ce.repo
# yum makecache fast
# yum -y install docker-ce
# systemctl enable docker.service
# systemctl restart docker
安装kubeadm和kubelet
在所有节点安装这俩
配置源
# cat < /etc/yum.repos.d/kubernetes.repo
[kubernetes]
name=Kubernetes
baseurl=https://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64
enabled=1
gpgcheck=1
repo_gpgcheck=1
gpgkey=https://mirrors.aliyun.com/kubernetes/yum/doc/yum-key.gpg
https://mirrors.aliyun.com/kubernetes/yum/doc/rpm-package-key.gpg
EOF
安装
# yum makecache fast
# yum install -y kubelet kubeadm ipvsadm
配置
# cat < /etc/sysctl.d/k8s.conf
net.bridge.bridge-nf-call-ip6tables = 1
net.bridge.bridge-nf-call-iptables = 1
vm.swappiness=0
EOF
配置生效
# sysctl --system
加载ipvs相关内核模块
如果重新开机， 需要重新加载（ 可以写在 /etc/rc.local 中开机自动加载）
# modprobe ip_vs
# modprobe ip_vs_rr
# modprobe ip_vs_wrr
# modprobe ip_vs_sh
# modprobe nf_conntrack_ipv4
查看是否加载成功
# lsmod | grep ip_vs
配置启动 kubelet（ 所有节点）
配置 kubelet 使用国内 pause 镜像
获取 docker 的 cgroups
# DOCKER_CGROUPS=$(docker info | grep 'Cgroup' | cut -d' ' -f4)
# echo $DOCKER_CGROUPS
配置 kubelet 的 cgroups
cat >/etc/sysconfig/kubelet<启动
# systemctl daemon-reload
# systemctl enable kubelet && systemctl restart kubelet
在这里使用systemctl status kubelet ，会有报错信息，kubelet会不断的重启，此处的报错不用管，先忽略，在运行kubeadm init 生成ca证书后会被自动解决。
配置master节点
初始化
# kubeadm init --kubernetes-version=v1.15.0 --pod-network-cidr=10.244.0.0/16 --apiserver-advertise-address=192.168.75.139 --ignore-preflight-errors=Swap
初始化成功后，生成了token记录，复制下如图所示的内容，留着后续把node节点加入集群的时候用它
配置使用kubelet
在master节点操作
# rm -rf $HOME/.kube
# mkdir -p $HOME/.kube
# cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
# chown $(id -u):$(id -g) $HOME/.kube/config
查看node节点
# kubectl get nodes
配置使用网络插件
在master节点操作
下载配置
# cd ~ && mkdir flannel && cd flannel
# curl -O https://raw.githubusercontent.com/coreos/flannel/master/Documentation/kube-flannel.yml
修改配置文件，就是刚刚下载的flannel的yml文件
1、添加node节点的网卡
containers:
- name: kube-flannel
image: registry.cn-shanghai.aliyuncs.com/gcr-k8s/flannel:v0.10.0-amd64
command:
- /opt/bin/flanneld
args:
- --ip-masq
- --kube-subnet-mgr
- --iface=ens33 #这里我添加的是虚拟机的网卡
2、设置污点的容忍
tolerations:
- key: node-role.kubernetes.io/master
operator: Exists
effect: NoSchedule
- key: node.kubernetes.io/not-ready #以下三行是添加内容
operator: Exists
effect: NoSchedule
启动
# kubectl apply -f ~/flannel/kube-flannel.yml
查看
# kubectl get pods --namespace kube-system
# kubectl get service
# kubectl get svc --namespace kube-system
配置node节点加入集群
在所有 node 节点操作， 此命令为初始化 master 成功后返回的结果
# kubeadm join 192.168.1.200:6443 --token ccxrk8.myui0xu4syp99gxu --discovery-token-ca-cert-hash
sha256:e3c90ace969aa4d62143e7da6202f548662866dfe33c140095b020031bff2986
各种检测
查看pods
# kubectl get pods -n kube-system
如果status 不是running，查看异常pod信息
查看异常pod信息
# kubectl describe pods kube-flannel-ds-sr6tq -n kube-system
删除异常 pod
# kubectl delete pod kube-flannel-ds-sr6tq -n kube-system
查看节点
# kubectl get nodes -n kube-system
NAME STATUS ROLES AGE VERSION
master Ready master 16h v1.14.2
node1 Ready 16h v1.14.2
node2 Ready 16h v1.14.2
成功出现这个，就说明已经kubeadm部署k8s集群已经部署成功。