No space left on device的分析及解决

 

看到这个错误，第一个反应是磁盘空间满了；但 df 一看，每个分区的空间都还富余的很。从 munin 的监控图表上看 Filesystem usage 也很平稳，但下面的 Inode usage 就有问题了，其中一个分区的 usage 已经到了100%。赶紧跑到服务器上 df -i 检查，果然是 Inode 耗尽。原来这个分区是用来扔各种日志和临时文件的，其中有某个程序产生的临时文件又小又多，又没有进行定时回滚，造成在磁盘空间耗尽之前文件系统的 Inode 就被用光了。

　　Linux/Unix like OS 的文件系统中每个目录树中的节点并不是像 Windows 那样直接包含文件的具体信息，而只包含了文件名和 Inode number 。通过 Inode number 所找到对应于文件名的 Inode 节点中才真正记录了文件的大小/物理地址/所有者/访问权限/时间戳/被硬链接的次数等实际的 metadata 。因此你可以在 Linux 系统中通过硬链接( hard link ) 的方式给某个文件创建无数个位于不同目录下的文件名，而实际的文件数据只需要一份拷贝。

　　但也正因为这种文件系统的结构，当你在 Linux 中进行 IO 操作的时候，需要的资源除了磁盘空间以外，还要有剩余的 Inode 才行。缺省情况下， Linux 在系统安装过程中按照1个 Inode 对应 2k 磁盘空间来计算每个分区的最大 Inode 数。一旦文件系统创建之后，每个分区可用 Inode 数就无法进行动态调整。

　　正常来说，一般不太会出现某个分区的 Inode 耗尽而磁盘空间尚余的情况，除非像我碰到的这样垃圾小文件疯长而又没进行有效的清理。但如果确实需要的话，可以在创建文件系统（比如用 mke2fs ）的时候根据实际需要来调整这个参数（比如分区如果用于存放超大视频文件的话 Inode 的数量可以少一些；如果打算存放的文件是大量小于 2k 的迷你文件的话就要考虑多创建一些 Inode）。

　　附：Inode Definition by The Linux Information Project

　　其它人碰到的 No space left on device 原因：

　　超出系统中同时运行的最大 message queue 个数限制 ： 在 root 下用 sysctl kernel.msgmni 检查该参数， sysctl -w kernel.msgmni=XXX 重新设定即可。

　　cvs 异常断开的连接在 /tmp 目录下留下大量的临时文件导致 /tmp 目录满