记k8s 磁盘压力驱逐排查

现象

• 使用 kubectl describe pod_name -n namespace 查看原因

  
  
  image.png

原因排除

• df -h
  磁盘使用30%不到，远没达到磁盘空间不足被驱逐边（一般是80%就开始驱逐）

  
  

磁盘io却99.99%， 但读为 0， 写为4k/s不到，是不是很奇怪 ？

• 使用iotop 查看

  
  
  image.png

• iostat 查看 磁盘详情，但没有具体的压力

  
  
  image.png

总结

磁盘发生驱逐一般情况是：
(1)磁盘空间不足
(2)磁盘io高
但现场一路排查下来，这种应该是硬件问题了
(3) 磁盘压力带来的驱逐，压力释放后，pod会自动running。在1.19.4 1.20.0已验证