k8s容器云平台技术落地方案

kubernetes(十五) kubernetes 运维_第1张图片

  • 机器选型： 虚拟机偶然宿主机
  • 操作系统版本
  • 内核版本
  • 节点管理
    • 节点亲和性
    • 污点容忍
    • GPU资源node管理(标签或者备注)
  • 存储方案： ceph，GlusterFS，NFS
  • 网络方案：calico，flannel
  • 镜像仓库方案： harbor
  • 监控方案： prometheus+grafana+alertmanager
  • 日志方案： ELK
  • cicd方案：gitlab，build, harbor, jenkins-master-slave,helm发布到k8s集群

其他注意事项

  • 使用namespace隔离资源
    • 权限隔离
    • 资源隔离

Ansible自动化部署k8s集群

二进制部署k8s步骤

1、服务器初始化
2、部署etcd集群，包括生成证书
3、部署master（kube-apiserver、scheduler、controller-manager）
4、部署node（kubelet、proxy、docker）
5、部署网络组件、dashboard、ingress controller、配置pv自动供给、CoreDNS等

k8s集群软件下载地址

  • k8s-master&node: https://github.com/kubernetes/kubernetes/blob/master/CHANGELOG/CHANGELOG-1.18.md#v1186
  • etcd: https://github.com/etcd-io/etcd/releases
  • cni 网络插件： https://github.com/containernetworking/plugins/releases
  • docker: https://download.docker.com/linux/static/stable/x86_64/docker-19.03.9.tgz

ansible 部署k8s的playbook

  • 集群规划
主机名 ip 角色 备注
centos7-node1 192.168.56.11 k8s-master etcd-1
centos7-node2 192.168.56.12 k8s-node1 etcd-2
centos7-node3 192.168.56.13 k8s-node2 etcd-3
  • 脚本执行
$ yum -y install git epel-release ansible
$ git clone https://github.com/lizhenliang/ansible-install-k8s.git
$ mkdir ~/binary_pkg && cd binary_pkg     #提供所需的软件包
$ cd ansible-install-k8s #修改，group_vars下的all.yml 指定对应路径和集群ip，修改文件下的hosts
$ ansible-playbook -i hosts single-master-deploy.yml   #部署单master集群
  • 测试集群功能
$ kubectl create deploy web --image=lizhenliang/java-demo 
$ kubectl expose deploy web --port=80 --target-port=8080 --type=NodePort

k8s高可用方案

  • etcd高可用
  • kube-apiserver高可用： 集群的统一入口；其他组件协作
  • kube-controller-manager高可用
  • kube-scheduler高可用
  • coreDNS高可用

Etcd数据库的备份与恢复

kubeadm集群的数据备份

ETCDCTL_API=3 etcdctl snapshot save snap.db --endpoints=https://192.168.56.11:2379 --cacert=/etc/kubernetes/pki/etcd/ca.crt --cert=/etc/kubernetes/pki/etcd/peer.crt --key=/etc/kubernetes/pki/etcd/peer.key

二进制部署的k8s集群数据备份

$ cd /data/etcd/bin
$ ETCDCTL_API=3 ./etcdctl snapshot save snap.db --endpoints=https://192.168.56.11:2379 --cacert=/data/etcd/ssl/ca.pem --cert=/data/etcd/ssl/server.pem --key=/data/etcd/ssl/server-key.pem

kubeadm集群etcd数据恢复

操作步骤如下:

  • 暂停kube-apiserver和etcd容器
  • 备份当前数据
mv /etc/kubernetes/manifests /etc/kubernetes/manifests.bak
mv /var/lib/etcd /var/lib/etcd.bak
  • 恢复数据
$ ETCDCTL_API=3 etcdctl snapshort restore snap.db --data-dir=/var/lib/etcd
  • 启动kube-apiserver和etcd容器
  • 恢复manifest
mv /etc/kubernetes/manifests.bak /etc/kubernetes/manifests

二进制部署k8s数据恢复

操作步骤如下：

  • 停止etcd和kube-apiserver
$ systemctl stop kube-apiserver
$ ansible etcd -m service -a "name=etcd state=stopped"
$ ansible etcd -m shell -a "mv  /var/lib/etcd/default.etcd  /var/lib/etcd/default.etcd.bak"
  • 数据恢复 (需要拷贝当前的备份数据到其余的节点，执行恢复命令即可)
$ cd /data/etcd/bin/     #恢复的数据备份至此
$ ansible etcd -m copy -a "src=/data/etcd/bin/snap.db dest=/data/etcd/bin/"
# etcd 节点1 执行如下命令
$  ETCDCTL_API=3 ./etcdctl snapshot restore snap.db --name etcd-1 --initial-cluster="etcd-1=https://192.168.56.11:2380,etcd-2=https://192.168.56.12:2380,etcd-3=https://192.168.56.13:2380" --initial-cluster-token=etcd-cluster --initial-advertise-peer-urls=https://192.168.56.11:2380 --data-dir=/var/lib/etcd/default.etcd

# etcd 节点2 执行如下命令
$ETCDCTL_API=3 ./etcdctl snapshot restore snap.db --name etcd-2 --initial-cluster="etcd-1=https://192.168.56.11:2380,etcd-2=https://192.168.56.12:2380,etcd-3=https://192.168.56.13:2380" --initial-cluster-token=etcd-cluster --initial-advertise-peer-urls=https://192.168.56.12:2380 --data-dir=/var/lib/etcd/default.etcd

# etcd 节点3 执行如下命令
$ETCDCTL_API=3 ./etcdctl snapshot restore snap.db --name etcd-3 --initial-cluster="etcd-1=https://192.168.56.11:2380,etcd-2=https://192.168.56.12:2380,etcd-3=https://192.168.56.13:2380" --initial-cluster-token=etcd-cluster --initial-advertise-peer-urls=https://192.168.56.13:2380 --data-dir=/var/lib/etcd/default.etcd
  • 启动etcd和kube-apiserver
 $ systemctl start kube-apiserver
 $ ansible etcd -m service -a "name=etcd state=started"
 $ ansible

kubelet证书自动续签

二进制部署过程中，apiserver和etcd由cfssl或者openssl工具自签证书并可以定义过期时间，而kubelet连接apiserver所需的客户端证书是由controller-manager组件自动颁发，默认是一年，如果到期，kubelet将无法使用过期的证书连接apiserver，从而导致无法正常工作，日志会给出证书过期错误（x509: certificate has expired or is not yet valid）

解决该问题可启用kubelet证书轮转。

kubeadm部署方式

1、配置kube-controller-manager组件

vi /etc/kubernetes/manifests/kube-controller-manager.yaml
spec:
  containers:
  - command:
    - kube-controller-manager
    - --experimental-cluster-signing-duration=87600h0m0s
    - --feature-gates=RotateKubeletServerCertificate=true
    …

添加上述两个参数：

  • experimental-cluster-signing-duration=87600h0m0s 为kubelet客户端证书颁发有效期10年

  • feature-gates=RotateKubeletServerCertificate=true 启用server证书颁发

    配置完成后，重建pod使之生效：

kubectl delete pod kube-controller-manager-k8s-master -n kube-system

2、配置kubelet组件

默认kubelet证书轮转已启用。

# vi /var/lib/kubelet/config.yaml
...
rotateCertificates: true

3、测试

找一台节点测试，先查看现有客户端证书有效期：

# cd /var/lib/kubelet/pki
# openssl x509 -in kubelet-client-current.pem -noout -dates
notBefore=May 25 09:01:24 2020 GMT
notAfter=May 25 09:01:24 2021 GMT

修改服务器时间，模拟证书即将到期：

# date -s "2021-5-20"
# systemctl restart kubelet

再查看证书有效期，可以看到已经是十年：

# openssl x509 -in kubelet-client-current.pem -noout -dates
notBefore=Aug  8 15:44:55 2020 GMT
notAfter=May 23 09:05:30 2030 GMT

二进制部署方式

如果你采用老师的二进制方式部署，已经配置了默认是5年，所以在5年之前不会出现证书过期问题的。

找一台节点查看：

# cd /data/kubernetes/ssl
# openssl x509 -in kubelet-client-current.pem -noout -dates
notBefore=Aug  8 15:54:54 2020 GMT
notAfter=Aug  7 07:38:00 2025 GMT

为确保5年后证书能自动续签，还需要启用证书轮转和自动签发。

1、启用证书轮转

```bash]

vi /data/kubernetes/cfg/kubelet-config.yml

...
rotateCertificates: true

systemctl restart kubelet


**2、 配置kubelet证书申请自动签发**

```bash
#自动批准首次申请证书的 CSR 请求
kubectl create clusterrolebinding node-client-auto-approve-csr --clusterrole=system:certificates.k8s.io:certificatesigningrequests:nodeclient --user=kubelet-bootstrap
# 自动批准kubelet客户端证书续签
kubectl create clusterrolebinding node-client-auto-renew-crt --clusterrole=system:certificates.k8s.io:certificatesigningrequests:selfnodeclient --group=system:nodes
# 自动批准kubelet服务端证书续签
kubectl create clusterrolebinding node-server-auto-renew-crt --clusterrole=system:certificates.k8s.io:certificatesigningrequests:selfnodeserver --group=system:nodes二进制部署过程中，apiserver和etcd由cfssl或者openssl工具自签证书并可以定义过期时间，而kubelet连接apiserver所需的客户端证书是由controller-manager组件自动颁发，默认是一年，如果到期，kubelet将无法使用过期的证书连接apiserver，从而导致无法正常工作，日志会给出证书过期错误（x509: certificate has expired or is not yet valid）

解决该问题可启用kubelet证书轮转。

kubeadm部署方式

1、配置kube-controller-manager组件

vi /etc/kubernetes/manifests/kube-controller-manager.yaml
spec:
  containers:
  - command:
    - kube-controller-manager
    - --experimental-cluster-signing-duration=87600h0m0s
    - --feature-gates=RotateKubeletServerCertificate=true
    …

 添加上述两个参数：

- experimental-cluster-signing-duration=87600h0m0s  为kubelet客户端证书颁发有效期10年

- feature-gates=RotateKubeletServerCertificate=true  启用server证书颁发

 配置完成后，重建pod使之生效：

kubectl delete pod kube-controller-manager-k8s-master -n kube-system

2、配置kubelet组件

默认kubelet证书轮转已启用。

# vi /var/lib/kubelet/config.yaml
...
rotateCertificates: true

3、测试

找一台节点测试，先查看现有客户端证书有效期：

# cd /var/lib/kubelet/pki
# openssl x509 -in kubelet-client-current.pem -noout -dates
notBefore=May 25 09:01:24 2020 GMT
notAfter=May 25 09:01:24 2021 GMT

修改服务器时间，模拟证书即将到期：

# date -s "2021-5-20"
# systemctl restart kubelet
再查看证书有效期，可以看到已经是十年：

# openssl x509 -in kubelet-client-current.pem -noout -dates
notBefore=Aug  8 15:44:55 2020 GMT
notAfter=May 23 09:05:30 2030 GMT

二进制部署方式

如果你采用老师的二进制方式部署，已经配置了默认是5年，所以在5年之前不会出现证书过期问题的。

找一台节点查看：

# cd /opt/kubernetes/ssl
# openssl x509 -in kubelet-client-current.pem -noout -dates
notBefore=Aug  8 15:54:54 2020 GMT
notAfter=Aug  7 07:38:00 2025 GMT

为确保5年后证书能自动续签，还需要启用证书轮转和自动签发。

1、启用证书轮转

# vi /opt/kubernetes/cfg/kubelet-config.yml
...
rotateCertificates: true

# systemctl restart kubelet

2、 配置kubelet证书申请自动签发

#自动批准首次申请证书的 CSR 请求
kubectl create clusterrolebinding node-client-auto-approve-csr --clusterrole=system:certificates.k8s.io:certificatesigningrequests:nodeclient --user=kubelet-bootstrap
# 自动批准kubelet客户端证书续签
kubectl create clusterrolebinding node-client-auto-renew-crt --clusterrole=system:certificates.k8s.io:certificatesigningrequests:selfnodeclient --group=system:nodes
# 自动批准kubelet服务端证书续签
kubectl create clusterrolebinding node-server-auto-renew-crt --clusterrole=system:certificates.k8s.io:certificatesigningrequests:selfnodeserver --group=system:nodes

kubernetes集群故障排查思路

集群部署问题

kubeadm

  • 网络通信： 节点之间的通信（网络插件问题，镜像加速）
  • 证书错误： 时间同步问题，证书hosts缺ip，证书过期未续签

二进制部署

  • 服务启动异常： 配置文件检查，环境初始化检查

应用部署问题

  • 镜像拉取失败： 认证问题，secret配置需要根据namespace和业务的namespace对应

  • 调度类问题： 无法调度，一直Pending，需要查节点污点，调度策略，污点容忍，调度节点node问题

  • svc和deploy无法通信： namespace问题，多看看describe事件或者查看标签问题

    • ClusterIP数据包流程：
      用户->ClusterIP->iptables/ipvs->pod

    1、iptables模式

    iptables-save |grep web

    -A KUBE-SEP-D4VB4DJ76HXQK5R7 -p tcp -m comment --comment "default/web:" -m tcp -j DNAT --to-destination 10.244.1.4:8080
    -A KUBE-SERVICES ! -s 10.244.0.0/16 -d 10.0.0.149/32 -p tcp -m comment --comment "default/web: cluster IP" -m tcp --dport 80 -j KUBE-MARK-MASQ
    -A KUBE-SERVICES -d 10.0.0.149/32 -p tcp -m comment --comment "default/web: cluster IP" -m tcp --dport 80 -j KUBE-SVC-BIJGBSD4RZCCZX5R
    -A KUBE-SVC-BIJGBSD4RZCCZX5R -m comment --comment "default/web:" -j KUBE-SEP-D4VB4DJ76HXQK5R7

    10.0.0.80:80 -> 10.244.2.4:8080

    2、ipvs模式

    查看ipvs规则：ipvsadm -L -n

    ipvs0绑定clusterip，捕获数据包，根据ipvs规则转发后端。

    nodeport数据包流程：
    用户->nodeport->iptables/ipvs->pod

  • ingress冲突问题： 是否存在相同的ingress在不同namespace的情况

通用技巧

kubectl get svc,deploy,pod -n xxx
kubectl describe pod xxxx
kubectl exec -it podxxxx -c xxxx -n xxxx -- bash   #进入指定容器