K8s常见问题分析&解决（未分类问题一）

1: Pod始终处于pending状态

详细描述：
    Pod始终处于pending状态
解题思路：
    如果pod保持在pending的状态，意味着无法被正常的调度到节点上，由于系统的某些资源无法满足Pod的运行需求
原因分析：
    系统没有足够的资源或者用户指定了hostPort；通过hostPort用户能够将服务暴露到指定的主机端口上，会限制pod被调度到可运行节点上
解决步骤：
    系统没有足够资源的情况，需要清理一些不需要的Pod，调整它们所需的资源量或者向集群中新增加节点

2: Pod始终处于Waiting状态

详细描述：
    Pod始终处于Waiting状态
解题思路：
    Pod处于Waiting的状态，说明已经被调度到一个工作节点， 却无法在那个节点上运行
原因分析：
    可以使用kubectl describe 查看含有更详细的错误信息。一般导致Pod处于waiting的原因为镜像无法下载
解决步骤：
    查看镜像下载情况

3: Pod处于CrashLoopBackOff状态

详细描述：
    Pod处于CrashLoopBackOff状态
解题思路：
    无
原因分析：
    CrashLoopBackOff状态说明容器已经启动，但是又异常导致退出，这个时候Pod的restartCounts通常大于0；
    容器进程退出
    健康检查失败退出
    OOMKilled
解决步骤：
    无

4: Pod一直崩溃或者运行不正常

详细描述：
    Pod一直崩溃或者运行不正常
解题思路：
    可以使用kubectl describe以及kubectl logs排查问题，这个问题存在情况比较复杂
原因分析：
    可能的情况： 健康检测失败，OOM情况，或者容器运行生命周期结束
解决步骤：
    无

 

5:集群雪崩，kubelet预留资源不足

详细描述：
    集群雪崩，kubelet预留资源不足
解题思路：
    无
原因分析：
    原因分析参见网上blog：https://my.oschina.net/jxcdwangtao/blog/1629059
解决步骤：
    为kubelet等进程预留相应的资源，具体操作参加上面的网址

 

6: nfs挂载错误wrong fs type， bad option， bad superblock

详细描述：
    nfs挂载错误wrong fs type， bad option， bad superblock
解题思路：
    无
原因分析：
    根据错误提示， 查看/sbin/mount.文件，果然发现没有/sbin/mount.nfs文件
解决步骤：
    安装nfs-utils 即可

 

7:kube-apiserver accept4: too many open files

详细描述：
    kube-apiserver accept4: too many open files
    http: Accept error: accept tcp 0.0.0.0:6443: accept4: too many open files; retrying in 1s
解题思路：
    无
原因分析：
    查看apiserver 进程， lsof -p $pid, 发现占有65540， 查看cat /proc/$pid/limits发现限制在65536， 查看占用的一大堆10250的某个kubelet，发现如下“device is busy”的错误
解决步骤：
    目前解决方案
    kubectl delete --grace-period=0 --force
    https://github.com/kubernetes/kubernetes/issues/51835

8: kubernetes pod 无法删除，Docker： Device is busy

详细描述：
    kubernetes pod 无法删除，Docker： Device is busy
解题思路：
    登录对应的Node节点，采用docker ps -a 查看对应的docker容器状态，发现容器的状态处于Dead状态，同样使用docker rm , 提示Device is busy。
原因分析：
    出现Docker： Device is busy 已经停止的docker容器无法删除，可能的原因存在systemd unit file 中带有 PrivateTmp=true 的 serivce，例如ntpd.service，nginx.service，当时在使用docker comose的时候是因为碰巧那台机器上安装了nginx。nginx的systemd文件中有下面的配置：

    [Service]
    PrivateTmp=true 
    这会导致nginx运行在私有挂载命名空间，而docker容器在销毁时需要卸载挂载的磁盘信息，此时出现冲突引起销毁docker容器失败。 当把引起这个问题的nginx关闭后，再使用docker rm 可以将Dead的容器删除，但是当重新启动nginx容器后，后边可能还会出现这个问题。 这个是CentOS/RedHat 3.10.0内核NameSpace的bug；正常由于某个systemd服务PrivateTmp=true引起的
解决步骤：
    网络上出现的Pod无法删除的解决方案：
    https://blog.terminus.io/docker-device-is-busy/
    Docker 故障（device or resource busy）
常见的解决思路：
    首先尝试使用docker rm ，一般会得到如下的错误：Error response from daemon: driver "overlay" failed to remove root filesystem for cb48a9914c6d9015eef2519f70bed648b070345e5acd271de0a03cb931d78a69: remove     /var/lib/docker/overlay/cd38b6e94e55a36b43cefe9cb3a74050fdc485e233c72a1fa125277d6b3f630d/merged: device or resource busy
    查看对应的挂载信息：
    grep docker /proc/*/mountinfo | grep     /var/lib/docker/overlay/cd38b6e94e55a36b43cefe9cb3a74050fdc485e233c72a1fa125277d6b3f630d/merged
    /proc/168793/mountinfo:3967 3441 0:639 /     /var/lib/docker/overlay/cd38b6e94e55a36b43cefe9cb3a74050fdc485e233c72a1fa125277d6b3f630d/merged rw,relatime shared:415 - overlay overlay rw,lowerdir=/var/lib/docker/overlay/125dad94af82485b8ea6cd3808df431f7180033d278bdadcbc21d7d7054678a4/root,upperdir=/var/lib/docker/overlay/cd38b6e94e55a36b43cefe9cb3a74050fdc485e233c72a1fa125277d6b3f630d/upper,workdir=/var/lib/docker/overlay/cd38b6e94e55a36b43cefe9cb3a74050fdc485e233c72a1fa125277d6b3f630d/work
    从上面的输出结果可以看出当前的进程168793，查看这个进程：
    ps -ef | grep 168793
    ntp      168793      1  0 Feb04 ?        00:00:00 /usr/sbin/ntpd -u ntp:ntp -g
    这里经确认这个进程是ntpd，重启ntpd后再次尝试使用docke rm 删除容器，一般情况下是可以删除的。
    当然上面在查看对应的挂载信息时，可以能会列出很多信息，这个时候挨个去找出冲突的进程太繁琐了，可以强制                umount无法删除的目录：
    umount -f             /var/lib/docker/overlay/cd38b6e94e55a36b43cefe9cb3a74050fdc485e233c72a1fa125277d6b3f630d/merged
    之后再重新尝试删除容器，重复上边的过程。
    当处于Dead状态的容器清理干净后，使用kubectl将处于Terminating的Pod删除掉即可

9: k8s无法删除namespace 提示Terminating

详细描述：
    k8s无法删除namespace 提示Terminating
解题思路：
    无
原因分析：
    无
解决步骤：
    kubectl get ns  -o json > ns-delete.json
    删除文件中spec.finalizers
    "spec":{},
    备注：在执行命令前，要先克隆一个新的会话，执行kubectl proxy --port=8081
    执行：
    curl -k -H "Content-Type: application/json" -X PUT --data-binary @ns-delete.json http://127.0.0.1:8081/api/v1/namespaces//finalize

 

10:Kubernetes: No Route to Host

详细描述：
    Kubernetes: No Route to Host
    Error getting server version: Get https://xx.xx.xx.xx:443/version?timeout=32s: dial tcp xx.xx.xx.xx:443: connect: no route to host
解题思路：
    无
原因分析：
    无
解决步骤：
    iptables -F

 

11: kubeadm kube-controller-manager does not have ceph rbd binary anymore

详细描述：
    kubeadm kube-controller-manager does not have ceph rbd binary anymore 
    Error: "failed to create rbd image: executable file not found in $PATH, command     output: "
解题思路：
    无
原因分析：
    无
解决步骤：
    解决参照文档：https://github.com/kubernetes/kubernetes/issues/56990
    yum install -y ceph-common

 

12: helm报这个错误 Helm: Error: no available release name found

详细描述：
    helm报这个错误 Helm: Error: no available release name found
解题思路：
    无
原因分析：
    因为tiller没有正确的角色权限
    解决步骤：
    kubectl create serviceaccount --namespace kube-system tiller
    kubectl create clusterrolebinding tiller-cluster-rule --clusterrole=cluster-admin --serviceaccount=kube-system:tiller
    kubectl patch deploy --namespace kube-system tiller-deploy -p '{"spec":{"template":{"spec":{"serviceAccount":"tiller"}}}}'

13:  K8s中 pv 无法删除问题

详细描述：
    K8s中 pv 无法删除问题
    Pv始终处于“Terminating”状态，而且delete不掉
解题思路：
    无
原因分析：
    无
解决步骤：
    删除k8s中的记录   kubectl patch pv xxx -p '{"metadata":{"finalizers":null}}'

14:  Error from server: Get https://master-node:10250/containerLogs/default/csi-hostpathplugin-0/node-driver-registrar: dial tcp: lookup master-node on 114.114.114.114:53: no such host

详细描述：
    Error from server: Get https://master-node:10250/containerLogs/default/csi-    hostpathplugin-0/node-driver-registrar: dial tcp: lookup master-node on 114.114.114.114:53: no such host
解题思路：
    无
原因分析：
    无
解决步骤：
    在/etc/hosts 添加192.168.x.x master-node

15:  calico/node is not ready: BIRD is not ready：BGP not established

详细描述：
    calico/node is not ready: BIRD is not ready：BGP not established
解题思路：
    无
原因分析：
    主要原因是calico，没有识别到网卡
解决步骤：
    modified calico.yaml file to include:
    - name: IP_AUTODETECTION_METHOD
    value: "interface=ens.*"

16: 无法删除image报rbd: error: image still has watchers解决方法

详细描述：
    无法删除image报rbd: error: image still has watchers解决方法
解题思路：
    无
原因分析：
    无
解决步骤：
    参照：https://www.cnblogs.com/sisimi/p/7776633.html