分享一次使用iostat命令定位邮件系统性能故障的经历

目录

一、背景介绍

二、环境介绍

三、分析过程

四、解决方法

---

  

      最近在整理iostat，回忆起以前处理的系统性能的问题，现把分析方法整理如下。

一、背景介绍

        以前公司内网部署有一套邮件系统，每天下午16:00-16:30之间邮件收发非常卡。

二、环境介绍

        邮件系统虚拟机分为了前端和后端，分别运行在不同的物理机，物理机通过SAN网络连接到DELL存储。

三、分析过程

        在最初发现问题的时候，以为是邮件系统问题，便找了厂商远程定位，厂家工程师检查后认为是我们的操作系统环境问题，让我们自己排查。

        我在排查过程中，使用了iostat工具，执行命令：iostat -d -x 1

        截图如下：

        从图中可以看出CPU的idle值小，iowait高，但是I/O的使用率却是100%，但I/O读写都是0，正常情况下不管磁盘性能如何，I/O有大量读写才能导致使用率达到100%，所以我当时感觉是物理存储环境出了问题，就像是物理环境将存储卷锁住或者卡死了。

四、解决方法

        将2台虚拟机从DELL存储中迁移到服务器本地磁盘运行，未再出现16:00-16:30定时卡顿的现象。

        至于SAN网络或DELL存储的问题，不是我负责，无法给出解决方法。