IO问题排查

Device:    rrqm/s wrqm/s   r/s   w/s  rsec/s  wsec/s    rkB/s    wkB/s avgrq-sz avgqu-sz   await  svctm  %util
cciss/c0d0   0.00   4.08 177.55 140.82 1461.22 1159.18   730.61   579.59     8.23     2.33    7.29   3.20 101.94

Device:    rrqm/s wrqm/s   r/s   w/s  rsec/s  wsec/s    rkB/s    wkB/s avgrq-sz avgqu-sz   await  svctm  %util
cciss/c0d0   0.00   0.00 153.61  0.00 1245.36    0.00   622.68     0.00     8.11     1.29    8.46   6.68 102.58

Device:    rrqm/s wrqm/s   r/s   w/s  rsec/s  wsec/s    rkB/s    wkB/s avgrq-sz avgqu-sz   await  svctm  %util
cciss/c0d0   0.00   0.00 160.82  0.00 1303.09    0.00   651.55     0.00     8.10     1.25    7.72   6.41 103.09

Device:    rrqm/s wrqm/s   r/s   w/s  rsec/s  wsec/s    rkB/s    wkB/s avgrq-sz avgqu-sz   await  svctm  %util
cciss/c0d0   0.00   0.00 131.63  0.00 1069.39    0.00   534.69     0.00     8.12     1.13    8.61   7.68 101.12

Device:    rrqm/s wrqm/s   r/s   w/s  rsec/s  wsec/s    rkB/s    wkB/s avgrq-sz avgqu-sz   await  svctm  %util
cciss/c0d0   0.00   1.02 129.59  6.12 1044.90  138.78   522.45    69.39     8.72     1.15    8.34   7.51 101.94

Device:    rrqm/s wrqm/s   r/s   w/s  rsec/s  wsec/s    rkB/s    wkB/s avgrq-sz avgqu-sz   await  svctm  %util
cciss/c0d0   0.00   0.00 158.59  0.00 1292.93    0.00   646.46     0.00     8.15     1.23    7.79   6.34 100.61

Device:    rrqm/s wrqm/s   r/s   w/s  rsec/s  wsec/s    rkB/s    wkB/s avgrq-sz avgqu-sz   await  svctm  %util
cciss/c0d0   0.00   0.00 221.88  6.25 1866.67   50.00   933.33    25.00     8.40     1.64    7.23   4.57 104.17

 

log.txt

 

[root@vm1 ~]# awk '/cciss\/c0d0/{sum=sum+$NF;count=count+1}END{print sum/count}' log.txt   
86.1766

你的磁盘平均在86%，已经非常繁忙了

 

[root@test ~]# cat 5.sh
/etc/init.d/syslog stop
echo 1 > /proc/sys/vm/block_dump
sleep 60
dmesg | awk '/(READ|WRITE|dirtied)/ {process[$1]++} END {for (x in process) \
print process[x],x}' |sort -nr |awk '{print $2 " " $1}' | head -n 10

echo 0 > /proc/sys/vm/block_dump
/etc/init.d/syslog start

[root@test ~]# sh 5.sh  
Shutting down kernel logger: [FAILED]
Shutting down system logger: [FAILED]
kjournald(4204): 484
httpd(20713): 109
httpd(20668): 96
httpd(20674): 86
httpd(15782): 77
httpd(16293): 68
httpd(20708): 66
httpd(15858): 59
httpd(20612): 57
httpd(15832): 57
Starting system logger: [  OK  ]
Starting kernel logger: [  OK  ]

 

被抓出来了。httpd kjournald 进程的问题