线上机器由于不同构导致的配置问题

    线上有16台测试scribe的机群，配置结束后，跑benchmark，没有问题。可是跑过一段时间后，发现很多job被pending住，报的错是：

Error initializing attempt_201204030722_0004_m_000002_0: 

ENOENT: No such file or directory 

        at org.apache.hadoop.io.nativeio.NativeIO.chmod(Native Method) 

        at org.apache.hadoop.fs.FileUtil.execSetPermission(FileUtil.java:692) 

        at org.apache.hadoop.fs.FileUtil.setPermission(FileUtil.java:647) 

        at org.apache.hadoop.fs.RawLocalFileSystem.setPermission(RawLocalFileSystem.java:509) 

        at org.apache.hadoop.fs.RawLocalFileSystem.mkdirs(RawLocalFileSystem.java:344) 

        at org.apache.hadoop.mapred.JobLocalizer.initializeJobLogDir(JobLocalizer.java:239) 

        at org.apache.hadoop.mapred.DefaultTaskController.initializeJob(DefaultTaskController.java:196) 

        at org.apache.hadoop.mapred.TaskTracker$4.run(TaskTracker.java:1226) 

        at java.security.AccessController.doPrivileged(Native Method) 

        at javax.security.auth.Subject.doAs(Subject.java:416) 

        at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1093) 

        at org.apache.hadoop.mapred.TaskTracker.initializeJob(TaskTracker.java:1201) 

        at org.apache.hadoop.mapred.TaskTracker.localizeJob(TaskTracker.java:1116) 

        at org.apache.hadoop.mapred.TaskTracker$5.run(TaskTracker.java:2404) 

        at java.lang.Thread.run(Thread.java:636) 

     经过google查询后，确定是由于磁盘空间不足导致的。

     df -h 后发现 / 下面磁盘已经被占满，当时百思不得其解，到底是谁在占用了/ 目录下面的磁盘呢。

     后来在同事的提醒下才发现，这一批机器是不同构的，有10台左右挂载了12个硬盘，有6台只挂载了10个硬盘，所以当用脚本搭建时都是按照12个硬盘来搭建写日志，就写到了/data10 /data11下面，附属于 /  所以很快 / 目录就被写满了。

     从新配置后，重启解决问题。