之前一直在写关于k8s的文章,但是一直没有写如何安装k8s的文章,今天抽时间简单的记录一下。关于k8s安装的文章网上的教程很多甚至还有一键安装的脚本,大家都可以参考参考。我今天主要是按照官方文档安装一个最简单的k8s集群。那么下面就来一起看一下吧。
一、前期准备
首先是准备4台服务器:1个master节点,3个普通的node节点。我购买的是腾讯云的服务器,配置均是2C4G,操作系统是centos 7.6
。k8s要求服务器的最低配置是2C2G。
服务器内网Ip如下:
master ip 172.27.0.7
node01 ip 172.27.0.16
node02 ip 172.27.0.2
node03 ip 172.27.0.12
关于网络环境、开放端口等内容这里不在介绍了,官网文档都有相关说明,按照官方文档基本没有问题,另外说一下k8s的官方文档也支持中文,这个还是很友好的。
本次安装的k8s的版本为1.18.6。目前k8s的版本更新速度也是很快的,目前我们项目上使用的还是1.17.0版本。另外k8s的runtime
我选择非常熟悉的docker
,当然k8s支持的也比较多,比如:containerd
和CRI-O
。
二、安装docker
既然我们选择使用docker
作为k8s的runtime
,所以首先我们就要在每台服务器上安装docker
。另外需要注意一点的是k8s的版本和docker
的版本一定要适应,可以参考k8s的CHANGELOG
地址。我这里选择的docker
版本是19.03-11,而19.03也是k8s官方推荐的版本。
docker
的安装可以按照k8s的教程也可以直接按照docker
的官方文档。下面开始安装:
下面的安装都是以root用户运行
## 安装所需的包
yum install -y yum-utils device-mapper-persistent-data lvm2
## 建议使用阿里云
yum-config-manager --add-repo http://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo
## 安装最新版本docker
yum install docker-ce docker-ce-cli containerd.io
## 安装指定版本19.03(官方推荐版本)
yum install -y containerd.io-1.2.13 docker-ce-19.03.11 docker-ce-cli-19.03.11
## 创建 /etc/docker目录
mkdir /etc/docker
## 设置docker配置文件
cat > /etc/docker/daemon.json <
三、服务器其他设置
安装好docker
之后我们还需要对我们的服务器进行一些设置,比如关闭防火墙、关闭交换等等,这些我就统一放在一起了,这些也是需要在每台服务器上执行。
为了容器区分服务器,设置每台服务器的hostname
:
## 设置主机名称
hostnamectl set-hostname
## 查看
hostname
配置服务器相关参数:
## 配置内核参数,将桥接的IPv4流量传递到iptables的链
cat < /proc/sys/net/ipv4/ip_forward
四、安装master节点
到这里算是进入正式的安装步骤,我采用比较简单的kubeadm进行安装,当然如果愿意也可以尝试使用二进制安装。
因为国内网络的问题,所以建议配置包管理器时使用阿里云。
## 配置包管理器(使用阿里云)
cat < /etc/yum.repos.d/kubernetes.repo
[kubernetes]
name=Kubernetes
baseurl=http://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64
enabled=1
gpgcheck=1
repo_gpgcheck=1
gpgkey=http://mirrors.aliyun.com/kubernetes/yum/doc/yum-key.gpg http://mirrors.aliyun.com/kubernetes/yum/doc/rpm-package-key.gpg
EOF
因为这里是安装master所以需要安装kubelet、kubeadm和kubectl。
## 安装最新版
yum install -y kubelet kubeadm kubectl --disableexcludes=kubernetes
## 指定版本安装的版本
yum install -y kubelet-1.18.6 kubeadm-1.18.6 kubectl--1.18.6
安装好后需要设置kubelet
开机启动,后面初始化的时候需要保证kubelet
处于运行状态。
## kubelet设置自启动
systemctl enable --now kubelet
接下来我们需要完成master的初始化:
kubeadm init --kubernetes-version=1.18.6 \
--apiserver-advertise-address= \
--image-repository registry.aliyuncs.com/google_containers \
--service-cidr=10.1.0.0/16 --pod-network-cidr=10.244.0.0/16 \
--upload-certs | tee kubeadm-init.log
关于初始化参数的内容可以看官方文档。我这里主要指定了apiserver
的ip(这里自己在安装的时候也遇到了一个坑)。还有就是k8s中SVC
和POD
的网络地址,需要避免二者冲突,当然service-cidr
也可以直接使用默认值,另外还配置了使用阿里云的镜像仓库地址。
之后有下面的输出,表示初始化成功:
最后的那个kubeadm
命令我们可以复制并保存起来,以便node节点加入到k8s集群。
接下来我们就按照提示为普通用户配置使用k8s的权限:
## 普通用户执行权限
mkdir -p $HOME/.kube
sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
sudo chown $(id -u):$(id -g) $HOME/.kube/config
## 或者root执行
export KUBECONFIG=/etc/kubernetes/admin.conf
当然,到这里还没有介绍,我们还差了一个很重要的东西,就是网络组件。至于选择calico
还是flannel
见仁见智吧,我们目前是开发和测试使用的calico
,生产使用的是flannel
,原因吗,开发和生产的集群不是一个人装的....我这里选择了是calico
。
## 使用最新版本
kubectl apply -f https://docs.projectcalico.org/manifests/calico.yaml
## 我选择3.8版本
kubectl apply -f https://docs.projectcalico.org/v3.8/manifests/calico.yaml
到这里我们的master节点就安装完成了,接下来就是安装普通的node节点。
五、安装node节点
安装普通的node节点和master节点基本上差不多,也是需要安装docker
并修改服务器配置,这点二者完全相同,不同的地方在于普通的node节点无需安装kubectl
,还有就是不需要安装calico
。calico
是由其实在每台服务器上都是以daemonset
方式运行的,只要一个node节点加入的k8s的集群,k8s都会自动在该节点创建一个calico
的Pod
。下面我们就安装kubelet
和kubeadm
,并加入到k8s集群中:
### 指定版本
yum install -y kubelet-1.18.6 kubeadm-1.18.6
## kubelet自启动
systemctl enable kubelet
systemctl start kubelet
输出如下:
接下来我们就将该节点加入的k8s集群,复制master成功后的命令:
kubeadm join 172.27.0.7:6443 --token 7lrxdu.oia8oorf1r60ja0x \
--discovery-token-ca-cert-hash sha256:56f86aba305beda6ad6ccf744ac236f46045147831960c9fcc42d88e6f9329bf
## 如果token过期可以直接在master执行下面的命令重新获取token,然后重新复制即可。
kubeadm token create --print-join-command
在每一台node节点服务器执行上面的安装过程。最后我们在master看一下,整个集群的节点运行情况:
kubectl get node
我们可以看下k8s相关组件的情况:
kubectl get pod -n kube-system -o wide
可以看到
apiserver
、
coreDNS
、
kube-proxy
、
calico
、
etcd
等必备组件的运行状态。
另外:如果想在一个普通的k8s节点使用kubectl
命令:
复制master下的admin.conf到node节点相同的目录
/etc/kubernetes/admin.conf
### 然后重置环境变量
echo "export KUBECONFIG=/etc/kubernetes/admin.conf" >> ~/.bash_profile
source ~/.bash_profile
六、遇到的问题
自己在安装k8s的过程中也遇到了一些问题,虽然最终解决了,但是还是不是很理解,这里列举一下。
1、初始化失败
在初始化master节点的时候,第一次我配置的apiserver
的ip是服务器的外网ip,结果就是导致master初始化失败,报错如下:
看了
kubelet
的状态是运行中,然后报错是连接
apiserver
报错,通过
docker
查看容器发现
etcd
和
apiserver
一直启动失败并重启,查看
etcd
容器的日志只显示:
etcd: listen tcp <外网ip>:2380: bind: cannot assign requested address
。
这个日志感觉也不像是错误日志。自己网上找了很多资料也没有解决这个问题,后来想想是不是应该用内网ip,果然换了内网ip之后就初始化成功了。因为自己对k8s还有服务器这块了解比较少,所以也不太清楚是什么原因,而且服务器的端口全是对外开放的。如果有了解的还希望指点一下。
2、网络问题
[ERROR FileContent--proc-sys-net-ipv4-ip_forward]: /proc/sys/net/ipv4/ip_forward contents are not set to 1
解决:
echo '1' > /proc/sys/net/ipv4/ip_forward
这个问题其实不止在这次自己安装k8s的时候遇到过。在我们项目的开发环境上,自己前段时间也是添加了一个node节点到k8s集群,结果就是这个集群中有三个节点(包括新增的节点)之间的网络通信异常,自己也一直没解决,最后找到运维的同事排查才发现是新增的节点/proc/sys/net/ipv4/ip_forward
没有设置为1。
最后
本次使用kubeadm搭建一个最简单的k8s集群就到这里了,有什么问题欢迎大家留言讨论,另外也请大家关注一下我的VX个人号超超学堂
,非常感谢大家的支持和关注~~~~~~