K8s-系统初始化.01

内容转载自:https://github.com/opsnull/follow-me-install-kubernetes-cluster/blob/master/01.%E7%B3%BB%E7%BB%9F%E5%88%9D%E5%A7%8B%E5%8C%96%E5%92%8C%E5%85%A8%E5%B1%80%E5%8F%98%E9%87%8F.md

上一篇:K8s-组件版本和配置策略.00

集群机器(本文使用华为云服务器,CentOS 7.5系统)

  • 172.27.129.101 k8s-master-0001 

  • 172.27.129.102 k8s-master-0002 

  • 172.27.129.103 k8s-master-0003 

  • 172.27.129.104 k8s-etcd-0001 

  • 172.27.129.105 k8s-etcd-0002 

  • 172.27.129.106 k8s-etcd-0003 

  • 172.27.129.107 k8s-node-0001 

  • 172.27.129.108 k8s-node-0002 

  • 172.27.129.109 k8s-node-0003 

  • 本文档中的 etcd 集群、master 节点、worker 节点使用共9台机器。

主机名

设置永久主机名称,然后重新登录,按照集群机器分别改名:

$ sudo hostnamectl set-hostname k8s-master-0001   # 将 k8s-master-0001 替换为当前主机

修改每台机器的 /etc/hosts 文件,添加主机名和 IP 的对应关系:

$ grep k8s /etc/hosts

k8s-master-0001 172.27.129.101

k8s-master-0002 172.27.129.102

k8s-master-0003 172.27.129.103

k8s-etcd-0001 172.27.129.104

k8s-etcd-0002 172.27.129.105

k8s-etcd-0003 172.27.129.106

k8s-node-0001 172.27.129.107

k8s-node-0002 172.27.129.108

k8s-node-0003 172.27.129.109

添加 k8s 和 docker 账户

在每台机器上添加 k8s 账户,可以无密码 sudo:

$ sudo useradd -m k8s
$ sudo sh -c 'echo 123456 | passwd k8s --stdin' # 为 k8s 账户设置密码
$ sudo visudo
$ sudo grep '%wheel.*NOPASSWD: ALL' /etc/sudoers
%wheel	ALL=(ALL)	NOPASSWD: ALL
$ sudo gpasswd -a k8s wheel

在每台机器上添加 docker 账户,将 k8s 账户添加到 docker 组中,同时配置 dockerd 参数:

$ sudo useradd -m docker
$ sudo gpasswd -a k8s docker
$ sudo mkdir -p  /etc/docker/
$ cat /etc/docker/daemon.json
{
    "registry-mirrors": ["https://hub-mirror.c.163.com", "https://docker.mirrors.ustc.edu.cn"],
    "max-concurrent-downloads": 20
}

无密码 ssh 登录其它节点

如果没有特殊指明,本文档的所有操作均在 k8s-master-0001 节点上执行,然后远程分发文件和执行命令。

设置 kube-node1 可以无密码登录所有节点的 k8s 和 root 账户:

[k8s@k8s-master-0001 k8s]$ ssh-keygen -t rsa
[k8s@k8s-master-0001 k8s]$ ssh-copy-id root@k8s-master-0001
[k8s@k8s-master-0001 k8s]$ ssh-copy-id root@k8s-master-0002
[k8s@k8s-master-0001 k8s]$ ssh-copy-id root@k8s-master-0003
[k8s@k8s-master-0001 k8s]$ ssh-copy-id root@k8s-etcd-0001
[k8s@k8s-master-0001 k8s]$ ssh-copy-id root@k8s-etcd-0002
[k8s@k8s-master-0001 k8s]$ ssh-copy-id root@k8s-etcd-0003
[k8s@k8s-master-0001 k8s]$ ssh-copy-id root@k8s-node-0001
[k8s@k8s-master-0001 k8s]$ ssh-copy-id root@k8s-node-0002
[k8s@k8s-master-0001 k8s]$ ssh-copy-id root@k8s-node-0003

[k8s@k8s-master-0001 k8s]$ ssh-copy-id k8s@k8s-master-0001
[k8s@k8s-master-0001 k8s]$ ssh-copy-id k8s@k8s-master-0002
[k8s@k8s-master-0001 k8s]$ ssh-copy-id k8s@k8s-master-0003
[k8s@k8s-master-0001 k8s]$ ssh-copy-id k8s@k8s-etcd-0001
[k8s@k8s-master-0001 k8s]$ ssh-copy-id k8s@k8s-etcd-0002
[k8s@k8s-master-0001 k8s]$ ssh-copy-id k8s@k8s-etcd-0003
[k8s@k8s-master-0001 k8s]$ ssh-copy-id k8s@k8s-node-0001
[k8s@k8s-master-0001 k8s]$ ssh-copy-id k8s@k8s-node-0002
[k8s@k8s-master-0001 k8s]$ ssh-copy-id k8s@k8s-node-0003

将可执行文件路径 /opt/k8s/bin 添加到 PATH 变量中

在每台机器上添加环境变量: 

sudo sh -c "echo 'PATH=/opt/k8s/bin:$PATH:$HOME/bin:$JAVA_HOME/bin' >>/root/.bashrc"
echo 'PATH=/opt/k8s/bin:$PATH:$HOME/bin:$JAVA_HOME/bin' >>~/.bashrc
$ PATH=/opt/k8s/bin:$PATH:$HOME/bin:$JAVA_HOME/bin

安装依赖包

在每台机器上安装依赖包:

CentOS:

$ sudo yum install -y epel-release conntrack ipvsadm ipset jq sysstat curl iptables libseccomp

Ubuntu:

$ sudo apt-get install -y conntrack ipvsadm ipset jq sysstat curl iptables libseccomp
  • ipvs 依赖 ipset;

关闭防火墙

在每台机器上关闭防火墙:

$ sudo systemctl stop firewalld
$ sudo systemctl disable firewalld
$ sudo iptables -F && sudo iptables -X && sudo iptables -F -t nat && sudo iptables -X -t nat
$ sudo iptables -P FORWARD ACCEPT

关闭 swap 分区

 

如果开启了 swap 分区,kubelet 会启动失败(可以通过将参数 --fail-swap-on 设置为 false 来忽略 swap on),故需要在每台机器上关闭 swap 分区:

$ sudo swapoff -a

为了防止开机自动挂载 swap 分区,可以注释 /etc/fstab 中相应的条目:

$ sudo sed -i '/ swap / s/^\(.*\)$/#\1/g' /etc/fstab  #如无,可忽略

关闭 SELinux

关闭 SELinux,否则后续 K8S 挂载目录时可能报错 Permission denied

$ sudo setenforce 0
$ grep SELINUX /etc/selinux/config 
SELINUX=disabled
  • 修改配置文件,永久生效;

关闭 dnsmasq (可选)

linux 系统开启了 dnsmasq 后(如 GUI 环境),将系统 DNS Server 设置为 127.0.0.1,这会导致 docker 容器无法解析域名,需要关闭它:

$ sudo service dnsmasq stop
$ sudo systemctl disable dnsmasq

加载内核模块

$ sudo modprobe br_netfilter
$ sudo modprobe ip_vs

设置系统参数

$ cat > kubernetes.conf <
  • tcp_tw_recycle 和 Kubernetes 的 NAT 冲突,必须关闭 ,否则会导致服务不通;
  • 关闭不使用的 IPV6 协议栈,防止触发 docker BUG;

设置系统时区

 

$ # 调整系统 TimeZone

$ sudo timedatectl set-timezone Asia/Shanghai

$ # 将当前的 UTC 时间写入硬件时钟

$ sudo timedatectl set-local-rtc 0

$ # 重启依赖于系统时间的服务

$ sudo systemctl restart rsyslog

$ sudo systemctl restart crond

 

更新系统时间

$ sudo ntpdate cn.pool.ntp.org

创建目录

在每台机器上创建目录:

$ sudo mkdir -p /opt/k8s/bin && chown -R k8s /opt/k8s

$ sudo mkdir -p /etc/kubernetes/cert && chown -R k8s /etc/kubernetes

$ sudo mkdir -p /etc/etcd/cert && chown -R k8s /etc/etcd/cert

$ sudo mkdir -p /var/lib/etcd && chown -R k8s /etc/etcd/cert

修改和分发集群环境变量定义脚本

后续的部署步骤将使用 environment.sh 中定义的全局环境变量,请根据自己的机器、网络情况修改。

然后,把全局变量定义脚本拷贝到所有节点的 /opt/k8s/bin 目录:

source environment.sh
for colony_ip in 172.27.129.10{1..9}
  do
    echo ">>> ${colony_ip}"
    scp environment.sh k8s@${colony_ip}:/opt/k8s/bin/
    ssh k8s@${colony_ip} "chmod +x /opt/k8s/bin/*"
done

参考

  1. 系统内核相关参数参考:https://docs.openshift.com/enterprise/3.2/admin_guide/overcommit.html

下一篇:K8s-创建CA证书和秘钥.02

你可能感兴趣的:(K8s-系统初始化.01)