linux下检查文件系统的操作流程(sigbus,linux不能写文件)

linux下检查文件系统的操作流程

问题描述

ls,cd好用
vim,touch,mv,cp跟文件操作有关的命令都不好用（core，收收到sigbus信号)
现把查找问题过程记录一下。

结果是：硬件厂商发现硬盘卡槽坏了。

image.png

然后查看内存和cpu - top

top - 16:37:32 up 84 days, 23:45,  2 users,  load average: 6.45, 6.58, 6.34
Tasks: 333 total,   2 running, 331 sleeping,   0 stopped,   0 zombie
Cpu(s): 25.5%us,  0.8%sy,  0.0%ni, 73.6%id,  0.1%wa,  0.0%hi,  0.1%si,  0.0%st
Mem:  24595068k total, 21369000k used,  3226068k free,   177460k buffers
Swap: 12369912k total, 12179320k used,   190592k free,  1670544k cached

  PID USER      PR  NI  VIRT  RES  SHR S %CPU %MEM    TIME+  COMMAND
 5109 dbojc     20   0 10.9g 919m 7436 S 170.4  3.8  26882:51 java
29048 dfs       20   0 6724m 1.2g 6128 S 104.2  4.9  60764:37 java
27850 vomes     20   0 14.2g 1.4g  25m S 100.1  6.2  41860:29 java
28484 skywalki  20   0 10.2g 534m 6560 S 31.1  2.2  12982:25 java
 2704 webadmin  20   0 10.8g 1.5g 8252 S  7.4  6.3   1182:03 java
21790 vomcente  20   0 15.7g 2.2g 768m S  2.9  9.4  10:40.10 java
13441 sentine   20   0 15.7g 238m 5960 S  1.6  1.0 984:03.28 java
 1964 vdm       20   0 9152m 1.3g 5784 S  0.8  5.3  45:05.20 java
 8985 das5      20   0 10.9g 867m 7140 S  0.8  3.6 438:49.40 java
19058 das       20   0 10.6g 1.3g 7508 S  0.8  5.7  39:12.16 java
28439 apollo    20   0 15.9g 794m 5972 S  0.8  3.3 614:01.74 java
    4 root      20   0     0    0    0 S  0.4  0.0  16:53.86 ksoftirqd/0
  235 root      39  19     0    0    0 S  0.4  0.0 601:23.38 kipmi0
 1281 root      20   0     0    0    0 S  0.4  0.0 377:25.64 jbd2/dm-2-8
 1633 root      20   0     0    0    0 S  0.4  0.0  85:40.48 kondemand/3
 1635 root      20   0     0    0    0 S  0.4  0.0 107:20.59 kondemand/5
 1641 root      20   0     0    0    0 S  0.4  0.0  73:44.75 kondemand/11

发现资源都正常，尤其是CPU和硬盘

首先查看硬盘空间

root-/root>df -h
Filesystem                    Size  Used Avail Use% Mounted on
/dev/mapper/VolGroup-lv_root   50G   19G   28G  41% /
tmpfs                          12G     0   12G   0% /dev/shm
/dev/sda2                     485M   65M  395M  15% /boot
/dev/sda1                     200M  264K  200M   1% /boot/efi
/dev/mapper/VolGroup-lv_home  213G  134G   69G  66% /home

发现磁盘并没有满，还有很大的空间。

查看是否打开文件最大数满了

标准版渠道开发/stdcop/xip>ulimit -a
core file size          (blocks, -c) unlimited
data seg size           (kbytes, -d) unlimited
scheduling priority             (-e) 0
file size               (blocks, -f) unlimited
pending signals                 (-i) 515915
max locked memory       (kbytes, -l) 64
max memory size         (kbytes, -m) unlimited
open files                      (-n) 65536
pipe size            (512 bytes, -p) 8
POSIX message queues     (bytes, -q) 819200
real-time priority              (-r) 0
stack size              (kbytes, -s) 10240000
cpu time               (seconds, -t) unlimited
max user processes              (-u) 4096
virtual memory          (kbytes, -v) unlimited
file locks                      (-x) unlimited

标准版渠道开发/stdcop/xip>lsof|wc
   2877   25192  313127

发现2877 << 65536

查看文件节点数(是否满了)

root-/root>df -i
Filesystem                     Inodes  IUsed    IFree IUse% Mounted on
/dev/mapper/VolGroup-lv_root  3276800  94377  3182423    3% /
tmpfs                         3074383      1  3074382    1% /dev/shm
/dev/sda2                      128016     27   127989    1% /boot
/dev/sda1                           0      0        0     - /boot/efi
/dev/mapper/VolGroup-lv_home 14155776 177977 13977799    2% /home

发现文件的inode还剩余很多,如果碎文件太多，可能会导致inode不够(鞍山发生过)

查看最大文件个数

root-/root>cat /proc/sys/fs/file-max
524288

查看组大的文件个数，发现是52W,统计一下唯一的用户的文件个数

锦州XIP/jzbank/jzxip/src>ls -R|wc
  44958   42176  657329

基本上没多大

检查linux系统message错误

vi /var/log/messages

发现打不开，因为文件系统已经有问题了。要么写了读不了，要么硬盘有问题系统没写进去。

重启服务器，开始硬件自检

发现硬盘异常，拆机检查，发现硬盘卡槽坏了。
问题解决。