大量pod失败

大量pod失败_第1张图片
随便查看pod
有的pod提示磁盘不足

查看csi-nfs 的pod。有一个处于Evicted 状态
kubectl get pod -n kube-system
csi-nfs-node-jlxc6 3/3 Running 10 (4d16h ago) 20d
csi-nfs-node-vnr5q 0/3 Evicted 0 10m

查看这个pod。提示磁盘不足

 kubectl describe  pod -n kube-system  csi-nfs-node-vnr5q 
  Type     Reason     Age   From               Message
  ----     ------     ----  ----               -------
  Normal   Scheduled  11m   default-scheduler  Successfully assigned kube-system/csi-nfs-node-vnr5q to server02
  Warning  Evicted    11m   kubelet            The node had condition: [DiskPressure].

查看节点磁盘空间
/dev/vda3 40G 32G 6.2G 84% /

清除日志
find /var/log/ -type f -exec rm -rf {} ;

后面查看运行成功

重启容器运行时导致poderror,负载高 排除磁盘io高

大量pod失败_第2张图片
大量pod失败_第3张图片

你可能感兴趣的:(kubernetes)